Es tracta d'un petit edifici, d'una sola nau, edificat al segle XVII (1685)[2] sobre l'antiga mesquita àrab (en ús fins al 1525), coneguda com la Mesquita Major, del nucli inicial del poble.[3][4]
L'any 1528, Bonrepòs i Mirambell es van separar eclesiàsticament de Carpesa. Tot i que la mesquita àrab primitiva va passar a ser considerada església el 1525, per tal d'instruir la fe cristiana a la població morisca de Mirambell, no és fins al 1685 quan se li dona la forma arquitectònica que té actualment; per tal d'aconseguir-ho, es va haver de destruir la mesquita i sobre ella es va alçar l'ermita.[5]
Presenta una espadanya recoberta per morter i pintada, hi ha dues campanes foses l'any 1974, la menor està en bon estat i dedicada a la Mare de Déu de Pilar i la més gran, que està dedicada a Sant Joan Baptista, no funciona a causa del seu mal estat.[6]
