I 1536 ble Anne og George Boleyn henrettet, og da faren døde i 1539 tilfalt slottet kronen. Kong Henrik VIII gav det til Anna av Kleve da han ble skilt fra henne i 1540, men det ser ikke ut til at hun tilbrakte mye tid der.
Slottet har siden hatt flere eiere. Blant annet er Waldegravefamilien nevnt i 1557, og Meade Waldo-familien fra 1749 til 1903. I sistnevnte periode forfalt slottet stadig mer, og eierne begynte å leie det ut. I 1903 ble det kjøpt av den amerikanske millionæren William Waldorf Astor, som fikk det fullstendig restaurert og brukte det som familieresidens.
Eiendommen brukes nå som konferansesenter. Slottet er åpent for publikum, og er spesielt kjent for sine labyrinter i hageanlegget og for en omfattende samling av torturinstrumenter. Den eneste delen som er i sin opprinnelige stand er portbygningen.
