Era il figlio più giovane di Henry Somerset, II duca di Beaufort, e della sua seconda moglie, Rachel Noel. Il 24 febbraio 1746, alla morte del fratello, gli succedette e divenne quarto duca di Beaufort. Studiò a Oxford e si laureò in legge.
Matrimonio
Il 1º maggio 1740, sposò Elizabeth Berkeley, sorella di Norborne Berkeley, IV Barone di Botetourt. Elizabeth morì il 9 aprile 1799. La coppia ebbe sei figli:
Lady Anne Somerset (11 marzo 1741 - 18 maggio 1763), sposò Charles Compton, VII conte di Northampton, il 13 settembre 1759, ed ebbero figli;
Lady Elizabeth Somerset (12 marzo 1742 - 7 maggio 1760);