Prestegarden er særleg kjend for å vere barndomsheimen til forfattaren Bjørnstjerne Bjørnson. Faren Peder Bjørnson var sokneprest her frå 1837 til 1853. Bjørnstjerne budde i Nesset til 1844. Då flytta han til Molde og byrja på gymnaset. Bondesamfunnet og naturen i Romsdalen skulle få stor innverknad på diktinga til Bjørnson.
Prestegarden har blitt utvikla i eit samarbeid mellom Romsdalsmuseet som museumsfagleg konsulent og Opplysningsvesenets fond som eigar. Prestegarden er kommunens tusenårsstad. I 2019 vart garden seld til Romsdalsmuseet.[1] Presten i Nesset har ein ny bustad frå 2016.[2]