В 1760 году без согласия отца, женился на Шарлотте Уолпол, внебрачной дочери сэра Эдварда Уолпола[англ.] и его любовницы Дороти Клемент[англ.]. Дядя Шарлотты поэт Хорас Уолпол описывал его, как «очень красивого человека».
В 1770 году после смерти отца, унаследовал титулы граф Дайсарт и баронета из Хелмингем-холла[англ.]. После смерти первой жены, 19 апреля 1791 года женился на Магдалене Льюис, этот брак, как и предыдущий был бездетным.
Скончался 20 февраля 1799 года в Хэм-Хаусе, ему наследовал младший брат Уилбрахам.
Литература
Forsyth Harwood, H. W.; Murray, Keith W.The Scots Peerage. — 1906. — С. 410-411. — 647 p.