Kawaler Orderu Podwiązki. Lord Namiestnik Suffolk w latach 1790 - 1844. Członek Izby Gmin z okręgu Thetford (w latach 1782-1784) i Cambridge University (1784-1811). Od 1811 r. po odziedziczeniu tytułu księcia Grafton zasiadał w Izbie Lordów.
15 listopada 1784 r. w Navestock w hrabstwie Essex, poślubił lady Charlotte Marię Waldegrave (11 października 1761 - 1 lutego 1808), córkę Jamesa Walderave'a, 2. hrabiego Waldegrave i Marii Walpole, córki sir Edwarda Walpole’a. George i Charlotte mieli razem dwóch synów i trzy córki:
Maria Anne FitzRoy (zm. 12 maja 1855), żona Williama Oglandera, 6. baroneta, miała dzieci
Elisabeth Anne FitzRoy (27 października 1867), żona Johna Henry’ego Smytha, miała dzieci