Прво утврђење на овом месту подигнуто је XVI веку и сачињавала га је само донжон кула. Краљица Викторија (1837—1901) и принц Алберт су га посетили 1848. године, а шума у околини замка је подсетила принца Алберта на Тирингију у његовом завичају. Он је купио кулу и имање као поклон за Краљицу, а 1853. године је Вилијам Смит одабран да изгради замак у шкотском баронском стилу. Нови замак је саграђен око 90 метара северно од старог и завршен је 1855. године. Током година је претрпео измене и преправке од стране краљевске породице, а задњу преправку је направио Војвода од Единбурга који је повећао башту и врт.
Због његове величине и лепоте, Краљица Викторија га је звала овај диван рај.
