Après sa retraite de l'armée, il devient agriculteur à Coney Weston dans le Suffolk[2]. De 1927 à 1936, il est agent foncier pour l'oncle maternel de sa première épouse[3], Owen Hugh Smith, à Langham dans Rutland. En 1936, il succède à son cousin comme duc de Grafton et hérite des domaines familiaux basés à Euston Hall.
Famille
Il épouse Doreen Maria Josepha Sydney Buxton (29 novembre 1897 - 28 juillet 1923), fille de son commandant Sydney Buxton (1er comte Buxton), et son épouse, Mildred Anne Smith, le 24 Janvier 1918. Ils ont trois enfants:
Anne Mildred Ismay FitzRoy (7 août 1920 - 4 novembre 2019), épouse le major Colin Dalzell Mackenzie.
Charles Oliver Edward FitzRoy (13 juillet 1923 - 6 août 1944), tué au combat; célibataire.
Un an après la mort de sa première épouse, il épouse, en secondes noces, Lucy Eleanor Barnes (25 décembre 1897 - 11 septembre 1943), fille de George Stapylton Barnes et de sa femme, Sybil de Gournay Buxton. La cérémonie a lieu le 6 octobre 1924. Lucy est la cousine germaine de la première épouse de Charles. Ils ont deux enfants:
Edward Anthony Charles FitzRoy (26 août 1928 - 25 novembre 2007), épouse Veronica Mary Ruttledge.
Michael Charles FitzRoy (18 mars 1932 - 15 juillet 1954), décédé aux îles Salomon (porté disparu, présumé noyé).
L'année suivant la mort de sa deuxième femme, il épouse, en troisièmes noces, Rita Emily Carr-Ellison (24 octobre 1911 - 24 août 1970), fille de John Ralph Carr-Ellison et de sa femme, Alice Ursula Lang. La cérémonie a lieu le 18 juillet 1944.
↑Hugh Colin Smith's daughter was Mildred Anne Smith (d 1955), wife of the 1st Earl Buxton and mother of Lady Doreen (below). Her youngest brother was Owen Hugh Smith (1869-1958).
