En , il hérite des propriétés de sa famille paternelle, dans le Bedfordshire, le Northamptonshire (notamment Althorp), le Warwickshire, et de celles de sa grand-mère, Sarah Churchill, y compris Wimbledon Park. Il se marie un mois plus tard, le , avec Georgina Carolina Carteret, troisième fille de John Carteret. Leur seul enfant est John, qui devient le 1er comte Spencer en 1765. Spencer meurt en 1746 et sa femme se remarie quatre ans plus tard avec William Clavering-Cowper, 2e comte Cowper. Althorp reste la propriété des comtes mais Wimbledon est vendu par le 4e comte Spencer en 1846.
