Huvudbyggnaden uppfördes av hovbyggmästaren Nicolai Eigtved 1743–1744 som tronföljarbostad åt kronprins Frederik (den senare Fredrik V) och kronprinsessan Louise. Den byggdes om och restaurerades 1766–1768 och övertogs av staten 1849, varefter byggnaden användes för olika ändamål, bland annat för museisamlingar, vilket resulterade i öppnandet av Nationalmuseet 1892. Tillbyggnader gjordes 1929–1936 och 1989–1992, då museets yta utökades med omkring 6.000 m².
