Il quinto Duca, che non fu un politico di spicco come i suoi predecessori, sposò Georgiana Spencer, figlia di John Spencer, I conte Spencer, il 6 giugno 1774. Il matrimonio fu brillante quanto infelice, poiché la coppia era divisa da incompatibilità di carattere (Il matrimonio dei Devonshire fu splendidamente satirizzato nella commedia di Richard Brinsley Sheridan, The School for Scandal, dove una giovane moglie di campagna, Lady Teazle, è affascinata dalla gente alla moda). L'iniziale incapacità di rimanere incinta della giovane Duchessa fu inoltre motivo di preoccupazione: le mogli aristocratiche erano valutate più per la loro fertilità che per la loro dote o i legami familiari. Georgiana ebbe numerosi aborti prima di dare alla luce due figlie, e infine il tanto atteso (e unico) figlio maschio. Questi, William Cavendish, futuro VI duca del Devonshire (1790-1858), morì scapolo e quindi senza eredi; la sorella, Georgiana Cavendish (1783-1858) sposò George Howard, VI conte di Carlisle (1773-1844), mentre Harriet Cavendish (1785-1862) sposò Granville Leveson-Gower, I conte Granville. Georgiana, donna di grande bellezza e di altrettanto fascino e carisma dettò la moda del tempo e radunò attorno a sé una cerchia di letterati e politici. Viaggiò molto, divenendo persino amica della regina di Francia Maria Antonietta. La duchessa fu ritratta da pittori come Thomas Gainsborough e Joshua Reynolds.
Scandali matrimoniali
Fu Georgiana che presentò il Duca a quella che sarebbe diventata la sua amante, nonché seconda moglie, LadyElizabeth Foster. "Bess" fu la migliore amica di Georgiana, la quale tollerò il ménage à trois per molti anni. Georgiana, da parte sua, ebbe una relazione con Charles Grey, II conte Grey, dal quale ebbe una figlia nel 1792, Eliza Courtney (un'antenata di Sarah, Duchessa di York). Lady Elizabeth Foster ebbe due figli dal Duca, un maschio e una femmina. Quando la Duchessa morì, suo marito sposò Bess Foster e prontamente si procurò una nuova amante. Alla sua morte, il figlio che ebbe dalla Duchessa diventò il VI Duca di Devonshire ma morì scapolo, perciò gli successe un cugino di secondo grado, William Cavendish, II conte di Burlington (1808-1891), già era vedovo della nipote di Georgiana, Lady Blanche Howard.