Gyldenpalm ble student i Christiania i 1792,[2] og cand. theol. ved Københavns Universitet den 19. januar
1802. Samme år giftet han seg i Vor Frue i samme by med Karen Marie Mariager (d. 1851).[3]
I 1802 fikk han stillingen som residerende kapellan i Lom prestegjeld, en stilling han besatt til 1807, hvor han sa stillingen opp. I håp om en bedre stilling ville han reise til København, men ble forhindret av krigen. Frem til 1812 fungerte han i stedet som hjelpeprest i Drangedal, hvoretter han reiste til København og ble utnevnt til sogneprest i Holt og Vegårdshei.[2] I 1826, kort tid før han døde, ble Gyldenpalm prost i Nedenæs prosti.[4]
Gyldenpalms personlighet brakte ham ikke sjeldent på kant med menigheten. Ifølge overleveringene skal han ha vært både streng, barsk og ilter, samtidig som hans karakter var preget av fryktsomhet og forfengelighet.[5] Han døde natten mellom 30. og 31. desember 1827, hvoretter hans kone flyttet tilbake til København.[2]
