Родоначальником роду був сер Джон Кавендіш — суддя у суді королівської лави — вбитий у 1381 році під час повстання Вота Тайлера. Джордж Кавендіш (помер у 1561 або 1562 році) служив при кардиналі Волсі і склав опис останніх років життя свого начальника: «Life of Cardinal Wolsey» — твір, яким Шекспір користувався для написання свого «Генріха VIII», та який має безсумнівну цінність та історичну достовірність. Тривалий час його автором вважали молодшого брата Джорджа, Вільяма Кавендіша.