Pouco se conhece da sua história. A sua edificação decorreu nos meados do século XVIII, mas preseisamente nos anos de 1757 e 1758, facto que se demonstra por modo notório pelo seu traçado, sobretudo pela cimalha superior do seu frontispício.
O lugar dos Terreiros onde está edificada esta ermida foi outrora muito importante pela qualidade superior do vinho que produzia, e que era exportado como os demais da ilha.
Neste mesmo lugar dos Terreiros, tiveram noutros tempos os frades de São Francisco uma pequena casa destinada sobretudo a guardar o vinho que os mesmos recolhiam nos peditórios que ali faziam. Segundo o mesmo Silveira Avelar, as ruínas dessa adega ainda existiam nos fins do século XIX.
Esta ermida, cuja invocação é da Santa Rita de Cássia, a avaliar pela sua porta principal, deve ter sofrido algumas transformações de monte em 1949, ano em que lhe foram feitas obras de manutenção. No entanto, no seu interior ainda há pouco tempo se poderiam contemplar alguns curiosos motivos arquitectónicos, próprios do século XVIII, e merecedores da atenção do visitante.
São Jorge, Açores, Guia do Património Cultural. Edição Atlantic View – Actividades Turísticas, Lda. Dep. Legal n.º 197839/03. ISBN 972-96057-2-6, 1ª edição, 2003.
