Wedel Jarlsberg ble offiser den 20. april 1803 og starter i 1804 på juridiske studier. Han ble såret under kampen med engelskmennene i 1807 og i desember samme år kjent udyktig til videre militærtjeneste.[3] Han tok i 1808 juridisk embetseksamen og jobbet litt ved rentekammeret, inntil han i 1811 ble beordret til å være amtmann i Finmarken. Han ankom Kristiania og ble gift, før de nygifte reiste nordover der de bebodde Alten gård.[4] I 1814 ble han beordret til Bratsbergs amtmannsembete og flyttet til Skien. I 1818 ble han valgt til Stortinget fra Larvik grevskap, men valget ble underkjent da han ikke hadde bodd lenge nok i Norge. Fredrik kjøpte etterhvert herregården Brunla ved Stavern.
Som amtmann i Bratsberg foretok han flere ubesindige og overilede handlinger og var visstnok ikke særlig skikket for stillingen.[5] Wedel Jarlsberg søkte seg i 1838 over til tollvesenet i Porsgrunn, og var fra 1844 til 1859 tollinspektør i Larvik dit han også hadde flyttet etter konas død i 1845. Han og var innehaver av Nordstjerneordenen.[4]
