Roligheds historie går flere hundrede år tilbage. Grunden blev i 1780 købt af norsk statsmand, Carsten Tank Anker. Anker-familien havde tætte relationer til general Arthur Wellesley (senere hertugen af Wellington) – et venskab der skulle komme dem til gode i 1807, da englænderne kom og besatte mange af de store landsteder på kysten. Wellesley beskyttede Rolighed og hans portræt hænger der stadig den dag i dag.
I 1813 solgte Carsten Tank Anker Rolighed til kaptajn John Christmas, en engelsk grosserer fra det københavnske borgerskab. Efter Christmas' død i 1822 blev stedet overtaget af svigersønnen, William Frederik Duntzfelt, en dansk handelsmand og politiker. I 1825 blev der opført bygninger ved arkitekten Jørgen Hansen Koch. Duntzfelt solgte stedet videre i 1841 til Peter Browne, en britisk diplomat. Da Browne tog tilbage til England solgte han det til den københavnske handelsmand, L.J.T. Grøn, og Rolighed blev landsted for den rige handelsslægt Grøn. 1866-67 opførte H.S. Sibbern en gæstebolig på stedet.
Grøn og hans kone boede i Rolighed i mange år, indtil stedet blev overtaget af sønnen, stiftamtmand og kammerherre, R. Howard Grøn.
1 Omfatter perioden ca. 1700-1850. Boliger opført som kongelige lystslotte er ikke medtaget her. Nogle af ejendommene har også været proprietærgårde eller godser.