Nascido em Paris, William Cavendish tornou-se Duque de Devonshire aos vinte e um anos, com a morte de seu pai, em 1811. Sua mãe, Georgiana Cavendish, Duquesa de Devonshire tinha falecido em 1806. Juntamente com o título, ele herdou oito propriedades estatais e 200 000 acres de terra (809 km²). O duque logo se dedicou à reforma das casas e ao cuidado dos jardins, inclusive com a reconstrução do vilarejo de Edensor, em Derbyshire. Ele também viajava freqüentemente.
O sexto Duque de Devonshire tinha duas irmãs, e ambas se casaram bem. Uma de suas sobrinhas, Lady Blanche Howard, casou-se com seu herdeiro presuntivo, o 2.° Conde de Burlington (neto de Lord George Cavendish, primeiro conde de Burlington e irmão mais jovem do 5.° Duque de Devonshire.) Infelizmente, Lady Burlington morreu, e o seu viúvo não casou-se pela segunda vez, mesmo quando ele sucedeu o sexto duque em 1858.
A variedade de banana "Cavendish" (a mais produzida na actualidade) deve a sua origem e o seu nome a William, em cujas estufas foram produzidas as primeiras plantas desta cultivar.
