Mannen som stod for bygginga av slottet var dansken Ludvig Rosenkrantz. Han byggde skandinavias minste slott på garden Hatteberg, som var garden han og kona hans, Karen Mowatt, hadde fått i bryllaupsgåve frå far til bruda, Axel Mowatt. Axel Mowatt var på denne tida Noregs nest rikaste mann.
Universitetet i Oslo eig eigedommen.