Koret og østpartiet af skibet blev opført i romansk tid af granitkvadre over skråkantsokkel. I sengotisk tid blev korets mure forhøjet, skibet blev forlænget mod vest og det snævre tårn blev opført; tårnet er et Styltetårn og har oprindelig haft åben underdel, som senere er blevet lukket. I 1500-tallets første halvdel blev en tilbygning opført mod syd af genanvendte kvadre og munkesten, tilbygningen har formodentlig fungeret som gravkapel men er senere blevet sat i forbindelse med skibet ved en affladet rundbue, sydgavlen er ommuret i 1700-tallet og bærer navnetræk for Schack Vittinghof Greve Holck, der ejede Sønder Elkær og Gammel Vraa og som døde i 1776. Våbenhuset er fra slutningen af 1800-tallet. Kirken fik nyt våbenhus mod nord i 1970 og blev restaureret i 1986.