Il maniero di Petworth divenne di proprietà della famiglia Percy nel 1150 attraverso un dono di Adeliza di Lovanio, moglie di Enrico I d'Inghilterra. La regina infatti offrì la tenuta al suo fratellastro Joscelin, in occasione del suo matrimonio con Agnes de Percy, figlia di William de Percy, III barone Percy.[1] A seguito di questo matrimonio il fratello della regina divenne il IV barone di Percy[2], poiché i fratelli della moglie erano tutti deceduti da giovani.
Nel 1377 Henry Percy viene nominato Conte di Northumberland. Il primo miglioramento significativo riguarda i giardini che circondano la residenza, che vengono impostati secondo lo stile elisabettiano, e questo lo si deve a Henry Percy, IX conte di Northumberland. Bisogna aspettare fino al 1688 per vedere i primi grandi lavori voluti da Charles Seymour, VI duca di Somerset che nel 1682 aveva sposato Elizabeth Percy, baronessa Percy, ultima erede di una delle famiglie più potenti del medioevo inglese. Fu in quell'anno che s'iniziò a ricostruire Petworth House e che i giardini furono ulteriormente ingranditi sul lato nord dell'edificio secondo il progetto di George London.[3]
Algernon Seymour, VII duca di Somerset, unico figlio maschio della coppia, benché sposato, non ebbe discendenza. Alla sua morte la residenza e la contea di Egremont passarono al figlio di sua sorella Catherine, Charles Wyndham, II conte di Egremont, il quale incaricò nel 1751 il noto architetto del paesaggio Lancelot Brown di progettare vasti lavori nel parco e nei giardini. I lavori furono così importanti che durarono fino al 1963.[4] La tenuta passò poi al figlio, George Wyndham, III conte di Egremont, che era amante delle arti e molto amico del noto pittore romantico William Turner, che ospitò per un lungo periodo a Petworth house. Turner fece un quadro che aveva come soggetto proprio Petworth house e ancora oggi vi sono numerosi opere di Turner nella collezione d'arte legata alla residenza.[5] Alla morte di George Wyndham, la tenuta passò al figlio maggiore George Wyndham, I barone di Leconfield che, come figlio naturale, non poté ereditare direttamente il titolo del padre. Suo figlio Henry Wyndham, II barone di Leconfield, desideroso di migliorare la residenza e i giardini, incaricò nel 1869 l'architetto Anthony Salvin di presentare un progetto e di seguirne i lavori.[6]
Nel 1947, Charles Wyndham, III barone di Leconfield decise di donare la proprietà di Petworth al National Trust poiché, secondo la legge inglese, il figlio adottivo non poteva ereditare del titolo. Il titolo infatti passò al suo fratello più giovane Hugh (1877–1963), mentre suo nipote, John Wyndham, fu nominato Lord Egremont nel 1963 e suo figlio, l'attuale Lord Egremont, mantiene stretti legami familiari con la tenuta. Una piccola area del sito registrato (vicino alla casa) rimane di proprietà privata.[7]