Между 1747 и 1757 годами Огастес Фицрой был известен как граф Юстон и был британским государственным деятелем партии вигов Георгианской эры. Он был одним из немногих герцогов, которые были премьер-министрами.
Герцог и герцогиня Графтон развелись согласно парламентскому акту в 1769 году. 24 июня 1769 года герцог женился второй раз на Элизабет Ротсли (1 ноября 1745 — 25 мая 1822), дочери сэра Ричарда Ротсли, 7-го баронета (1721—1769), и леди Мэри Левесон-Гоуэр (1717—1778). Они имели следующих детей:
Лорд Генри Фицрой (9 апреля 1770 — 7 июня 1828), священнослужитель; женился на Каролине Пигот (умерла 1 января 1835) 10 сентября 1800, имел пять детей.
Лорд Фредерик Фицрой (род. 16 сентября 1774), умер в детстве
Леди Августа Фицрой (1779 — 29 июня 1839), жена Джорджа Тавела (умер в 1829).
Леди Фрэнсис Фицрой (1 июня 1780 — 7 января 1866), жена с 25 ноября 1800 года барона Черчилля.
Адмирал Лорд Уильям Фицрой (1 июня 1782 — 13 мая 1857), который женился на Джорджиане Райкес (умерла 2 декабря 1861) и имел с ней двух детей.
Лорд Джон Эдвард Фицрой (24 сентября 1785 — 28 декабря 1856), член парламента, умер холостым.
Леди Шарлотта Фицрой (умерла 23 июня 1857)
Леди Элизабет Фицрой (умерла 13 марта 1839), жена кузена — генерал-лейтенанта Уильяма Фицроя (1773—1837), сына Чарльза Фицроя, 1-го барона Саутгемптон.
Леди Изабелла Фицрой (умерла 10 декабря 1866), которая в 1812 году вышла замуж за Баррингтона Поупа Блэкфорда (1783—1816).
Политическая карьера
В 1756 году Огастес Фицрой стал членом парламента от «карманного местечка» Боробридж. Несколько месяцев спустя он был избран в палату общин от Бери-Сент-Эдмундс, которым управляла его семья. Однако через год его дедушка умер, и Огастес стал 3-м герцогом Графтоном и вошёл в палату лордов.