Heilt frå vikingtida av har Jelsa vore ein samlingstad for religiøse offer. På staden der kyrkja står i dag, har det tidlegare stått ei lita stavkyrkje som er nemnd i kjelder så tidleg som 1286. Det finst òg teikn som antydar at dette kan ha vore staden for eit gudehov i vikingtida. Etter kvart som befolkninga auka, vart stavkyrkja altfor lita. Då den nye kyrkja skulle byggjast, vart ho bygd utanpå den første. Denne kyrkja stod ferdig i 1647 og var rikt utsmykka med utskjeringar på benkefrontane, preikestol med apostelmåleri måla av Gottfried Hendtzschel og eit tak som viste ein himmelkvelv med millionar av stjerner. Jelsakyrkja var eit praktverk, men i 1850 skulle kyrkja gjerast meir moderne. Ho fekk liggjande kledning og vart måla kvit både utvendig og innvendig. Himmelkvelven og andre takmåleri vart måla over og benkene vart bytta ut med nokre enklare, men kyrkja fekk også nytt galleri og døypefont. Etter mange år sakna folk den flotte kyrkja si slik ho var før, og i 1950 vart ho restaurert tilbake til det opphavlege.
