Il est député de Thetford (1733 à 1754), Hereford (1754 à 1768), Heytesbury (de 1768 à 1774) et de Thetford à nouveau de 1774 à mars 1782. Dans sa quarante-huitième année de service à la Chambre des Communes Britannique, FitzRoy-Scudamore succède à William Aislabie comme Père de la Maison en 1781, mais il est mort un an plus tard.
Son seul enfant, Frances (1750-1820), est la deuxième femme de Charles Howard (11e duc de Norfolk), mais il devient fou et est enfermé pendant de nombreuses années. Après sa mort sans enfants, le domaine de Holme Lacy fait l'objet de longues querelles judiciaires, pour finalement échoir à Henry Scudamore-Stanhope (9e comte de Chesterfield), qui adopte le nom supplémentaire Scudamore[2].
