W latach 1808–1811 kształcił się w Eton College. Później wstąpił do Royal Navy w stopniu midshipmana. Podczas wojen napoleońskich służył w eskadrze śródziemnomorskiej (na okrętach HMS „Royal George”, HMS „Blake” i HMS „Malta”) pod kontradmirałem Hallowellem. Brał udział w operacji przeciwko Tulonowi i walkach na przybrzeżnych wodach Hiszpanii. W dniu 14 lipca 1818 roku został porucznikiem na HMS „Glasgow”. Później służył na HMS „Superb”. Za wzorową służbę został awansowany do rangi komandora porucznika i objął dowództwo nad HMS „Alacrity”.
Po mianowaniu, 26 sierpnia 1822 roku, na stopień komandora objął dowództwo HMS „Creole”, zaś po trzech latach HMS „Talbot”. Dowodząc tym okrętem wziął udział w bitwie pod Navarino. Za postawę podczas bitwy został odznaczony Krzyżem Kawalerskim Orderu Łaźni. Ponadto otrzymał francuski Order Świętego Ludwika, rosyjski Order Świętej Anny i grecki Order Zbawiciela. W 1828 brał udział w kampanii zakończonej zdobyciem zamku Morea.
Później Spencer zrezygnował ze służby w marynarce i rozpoczął karierę polityczną. Z ramienia partii wigów zasiadał w Izbie Gmin z okręgów Worcestershire (1831-1832) i Midhurst (1832-1834 i 1837-1841). W latach 1840–1845 był członkiem dworu księżnej-wdowy Kentu, matki królowej Wiktorii. Po śmierci swojego starszego brata, Johna, odziedziczył tytuł hrabiego Spencer i zasiadł w Izbie Lordów.
W latach 1846–1848 był Lordem Szambelanem Dworu Królewskiego, zaś w latach 1854-1857 Lordem Stewardem. 8 lipca 1846 roku został członkiem Tajnej Rady. 23 marca 1849 roku został kawalerem Orderu Podwiązki. W 1847 ukończył studia na Uniwersytecie Cambridge z tytułem doktora praw. W 1852 został awansowany do rangi kontradmirała, zaś w 1857 otrzymał tytuł wiceadmirała.
Hrabia był dwukrotnie żonaty. Pierwszy ślub zawarł 23 lutego 1830 roku w Mayfair w Londynie, kiedy to poślubił Georgianę Poyntz (27 marca 1799 – 10 kwietnia 1851), córkę Williama Poyntza i Elisabeth Browne, córki 7. wicehrabiego Montagu. Frederick i Georgiana mieli razem syna i dwie córki:
Po raz drugi Spencer wziął ślub 9 sierpnia 1854 roku w St James’s w Londynie, poślubiając Adelaide Horatię Elisabeth Seymour (27 stycznia 1825 – 29 października 1877), córkę pułkownika Horace’a Seymoura i Elisabeth Palk, córki sir Lawrence’a Palka, 2. baroneta. Frederick i Adelaide doczekali się razem syna i córki:
4. hrabia Spencer zmarł w wieku 59 lat. Jego pogrzeb miał miejsce 2 stycznia 1858 w Brington w hrabstwie Northamptonshire.
Bibliografia
J.K. Laughton, ‘Spencer, sir Robert Cavendish (1791–1830)’, rev. Andrew Lambert, Oxford Dictionary of National Biography, Oxford University Press, 2004