Peregrine Hyde Osborne war der zweite Sohn von Peregrine Osborne, 2. Duke of Leeds, (1659–1729) und Bridget Hyde (1662–1733), Tochter von Sir Thomas Hyde, 2. Baronet, of Aldbury (1594–1665). Sein älterer Bruder William Henry Osborne, Earl of Danby (1690–1711) war bereits früh verstorben, so dass Peregrine Hyde Osborne 1712 den HöflichkeitstitelMarquess of Carmarthen als Erbe des Herzogtitels erhielt.
Von 1712 bis 1713 war Osborne Lord Lieutenant von East Riding of Yorkshire. 1719 heiratete Osborne Lady Anne Seymour, Tochter von Charles Seymour, 6. Duke of Somerset, die bereits 1722 starb. 1725 heiratete Osborne ein drittes Mal, diesmal Juliana Hele (1705–1794), Tochter von Roger Hele, Gutsherr von Holwell in Devon.