Sarah Fawkener (d) (à partir de ) Frances Susan Lambton (d) (à partir de ) Susanna Emma Byerlie (d) (à partir de )
Enfants
Sarah Mary Cavendish (d) William Henry Frederick Cavendish (d) Francis Cavendish (d) Henry Charles Lambton Cavendish (d) Charles William Cavendish (d) George Henry Cavendish (d) Caroline Fanny Cavendish (d) Elizabeth Cavendish (d)
Tout d'abord, le 24 octobre 1811, il épouse Sarah Fawkener (27 mai 1789 - novembre 1817), fille de William Augustus Fawkener. Ils ont quatre enfants:
Elizabeth Georgiana Harriett Cavendish (12 janvier 1812-3 janvier 1892), épouse d'abord William Bernard Harcourt, marquis d'Harcourt et se remarie avec le lieutenant-général James Robertson Craufurd
Le 16 juin 1819, il épouse en secondes noces Frances Susan Lambton (décédée le 23 novembre 1840), fille de William Henry Lambton et veuve de Frederick Howard (tué au combat à Waterloo), et a six enfants:
Francis William Henry Cavendish (6 février 1820 - 12 janvier 1893), épouse d'abord, Lady Eleanor FitzGibbon, fille de Richard FitzGibbon, 3e comte de Clare, et se remarie avec Ianthe Skyring.
Henry Charles Lambton Cavendish (7 mai 1821 - 6 octobre 1839)
Rev Charles William Cavendish (24 septembre 1822 - 21 décembre 1890), épouse Felicia Susan Lygon, fille de Henry Lygon (4e comte Beauchamp), et se remarie avec Louisa Cockburn, fille naturelle de Sir Alexander Cockburn (12e baronnet), remarié en troisièmes noces à Mary Gregg
George Henry Cavendish (9 janvier 1824-21 janvier 1889), épouse Emily Victorine Elizabeth Rumbold, Freifrau von Delmar, fille de Sir William Rumbold, 3e baronnet
Augustus John Cavendish (13 septembre 1825-2 octobre 1825)