У 1672 Карл II влаштував одруження дев'ятирічного Генрі Фіцроя, свого позашлюбного сина від Барбари Вільєрс, з Ізабеллою Беннет, п'ятирічною дочкою графа Арлінгтона. Фіцрою було надано титул 1-го герцога Графтона у 1675 році. Молоде подружжя успадкувало Юстон Голл у 1685 році. Близько 1750 року їхній син модернізував маєток: куполи було замінено на плоскі дахи, на частині будівель було змінено фасади. У 1902 році сильна пожежа знищила південне й західне крила садиби. Невдовзі будинок було перебудовано за тим самим планом, але пізніше південне крило та більша частина західних споруд були знесені 10-м герцогом у 1952 році.