Er ist der Sohn des James Oliver Charles FitzRoy, Earl of Euston (1947–2009) und seiner Frau Lady Clare Amabel Margaret Kerr, einer Tochter des Peter Kerr, 12. Marquess of Lothian. Sein Vater war der älteste Sohn und Erbe des Hugh FitzRoy, 11. Duke of Grafton (1919–2011). Als Heir apparent seines Vaters führte er seit Geburt den HöflichkeitstitelViscount Ipswich. Nach dem Tod seines Vaters, 2009, hätte er als Heir apparent seines Großvaters auch den Höflichkeitstitel Earl of Euston führen dürfen, tat es aber nicht. Am 7. April 2011 beerbte er seinen Großvater als Duke of Grafton.
2007 zog er nach London, kehrte aber nach dem Tod seines Vaters nach Suffolk zurück um bei der Verwaltung der familieneigenen Ländereien „Euston Estate“ zu unterstützen.[1]
Am 14. August 2010 heiratete er in Snowshill, Gloucestershire, Olivia Margaret Sladen. Sie haben drei Kinder:
Alfred James Charles FitzRoy, Earl of Euston (* 26. Dezember 2012), sein Heir apparent;[2]
Lady Rosetta Christina Clare FitzRoy (* 20. Juli 2015);
Lord Rafe FitzRoy (* 16. März 2017).
Er bewohnt den traditionellen Familiensitz der Dukes of Grafton, Euston Hall in Euston in Suffolk, nahe der Stadtgrenze von Thetford in Norfolk.[1]