St Olaf's Church is een rechthoekige kerk, gebouwd aan het begin van de achttiende eeuw. Er zijn ijzeren krammen aanwezig aan de buitenzijde bij de ramen waar stormluiken bevestigd kunnen worden.[1] Aan het midden van de noordelijke muur van de kerk bevindt zich een uitbouw van twee verdiepingen. De bovenste verdieping werd gebruikt als sacristie die bereikbaar was via een trap aan de buitenzijde. Oorspronkelijk stond deze ruimte in verbinding met een galerij in de kerk. De begane grond van de uitbouw werd gebruikt als mausoleum voor de familie Gifford van Busta.[1]
In deze tijd was niet meer toegestaan om begraven te worden in de kerk zelf; om toch zo dicht mogelijk bij het altaar begraven te worden, werden er mausolea tegen de kerk aan gebouwd.
Het mausoleum was te bereiken door een poort aan de noordzijde. Boven deze poort bevindt zich een paneel met de wapens van Thomas Gifford en zijn vrouw Elizabeth Mitchell, hun initialen en het jaar 1714, het jaar van hun huwelijk. In het mausoleum bevinden zich aan de west- en oostmuur twee grafstenen met wapens van de familie Gifford en het familiemotto spare nought (spaar niets).