Cavendish syntyi Ranskassa varsin iäkkäille vanhemmille, ja hänellä oli kaksi vanhempaa sisarta.[1] Williamin äiti Georgiana Cavendish oli omaa sukuaan Georgina Spencer, tunnettu kaunotar. Äiti toimi aktiivisesti politiikassa, vaikka naisilla ei ollut vielä äänioikeutta. Hän oli uhkapelaaja, ja huhujen mukaan hankki runsaat pelivelat huolimatta aviomiehensä ja vanhempiensa varallisuudesta.[2] Cavendish lähetettiin opiskelemaan Trinity CollegeenCambridgen yliopistoon. Hänen isänsä kuoli samana vuonna kun poika valmistui; äiti oli kuollut viisi vuotta aikaisemmin.[1]
Cavendish peri Herttuan arvon, kahdeksan kartanoa ja yli 800 neliökilometrin maaomaisuuden. Hänet nimitettiin erityislähettilääksi Venäjälle tsaari Nikolai I:n kruunajaisiin.[3] Cavendishista tuli Sukkanauharitarikunnan jäsen vuonna 1827.[1]
Cavendish jatkoi sukunsa perinteitä whig-ryhmittymän poliitikkona. Hän vastusti orjuutta ja katolisten syrjintää. Hänen erityinen huolenaiheensa olivat lapset, jotka raatoivat 15 tunnin työpäiviä tehtaissa. Nuorena kehittynyt kuurous haittasi kuitenkin hänen julkisia toimiaan vuosi vuodelta enemmän. Hän oli tiiviissä kirjeenvaihdossa sisartensa kanssa, mutta tunsi silti itsensä yksinäiseksi ja tarpeettomaksi. Hänellä oli naisseuralaisia, mutta hän ei koskaan avioitunut. Hän käytti suurta omaisuuttaan kirjojen ja taiteen ostamiseen ja järjesti kartanossaan ylellisiä juhlia.[1] Cavendishin ystäviin kuuluivat tsaari Nikolai I:n lisäksi Charles Dickens, Thackeray, Florence Nightingale, näyttelijätär Sarah Siddons, runoilija Leigh Hunt ja venäläinen vakoilija Dorothea Lieven.[4]
Cavendishin varoja kulutti myös perintökartanoiden ylläpito ja korjaustyöt. Kartanoita olivat Chatsworth House ja Hardwick HallPeak Districtissä, Bolton Abbey North Yorkshiressä, Chiswick Middlesexissä ja Lismoren linnaWaterfordin kreivikunnassa Irlannissa.[1] Cavendish palkkasi arkkitehti Jeffry Wyattwillen rakentamaan Chatsworthiin uuden pohjoissiiven. Joseph Paxtonin suunnitelmien mukaan Chatsworthiin rakennettiin kivikkopuutarhoja ja suuria kasvihuoneita. Komein niistä oli Crystal Palacen esikuva. Chatsworthin suuri kasvihuone vaurioitui ensimmäisessä maailmansodassa ja purettiin sen jälkeen. Myös Lismoren linnaa ja sen puutarhaa laajennettiin ja uusittiin perusteellisesti vuosien 1840 ja 1858 välisenä aikana. Paxton osallistui myös siellä puutarhan, kasvihuoneiden ja muutostöiden suunnittelemiseen. Uudistustöiden rahoittamiseksi Cavendish joutui myymään maitaan Yorkshirestä.[5]
Vuonna 1836 William Cavendishista tuli vastaperustetun yhdistyksen The Derby Town and County Museum and Natural History Society suojelija, kun George Harpur Crewestä tuli sen puheenjohtaja. Seuran tehtävänä oli kerätä lahjoituksia ja perustaa Derbyn kaupunginmuseo.[6]
Orkideat
Cavendish kiinnostui puutarhanhoidosta, ja ystävystyi nuoren Joseph Paxtonin kanssa ja palkkasi tämän Chatsworthin pääpuutarhuriksi vuonna 1826. Chatsworthiin rakennettiin lämmitettyjä kasvihuoneita eksoottisia trooppisia kasveja varten. Vuonna 1833 Cavendish näki orkideoita Puutarhaseuran vuosinäyttelyssä, ja kiinnostui niistä kovin. Koska eksoottisia kasveja oli hankala saada, Chatsworthin puutarhasta lähetettiin nuori mies Intiaan Assamin vuorille etsimään uusia orkideoita. Hänen retkensä seurauksena Chatsworthin orkideakokoelmasta tuli Britannian kuuluisin. Cavendishin kiinnostus teki orkideankasvatuksesta muodikkaan harrastuksen. Useita orkidealajeja onkin nimetty hänen kunniakseen: Cymbidium devonianum, Dendrobium devonianum, Oncidium cavendishianum ja Galeandra devoniana.[1] Myös tunnettu banaanilaji Cavendish-banaaniMusa cavendishii on nimetty hänen mukaansa.[7]