Il succède à son père en 1737 et hérite du domaine de Stanmer House, près de Lewes, dans le Sussex.
Lord Chichester épouse Anne Frankland. Ils ont trois fils et trois filles. Ses trois filles et un fils l'ont précédé dans la tombe. Son troisième fils, le très révérend George Pelham devient Évêque de Bristol, Exeter et Lincoln. Lord Chichester décède en , à l'âge de 76 ans. Son fils aîné, Thomas Pelham, 2e comte de Chichester, un homme politique de premier plan, lui succède dans ses titres. Lady Chichester est décédée en 1813.
Carrière politique
Il est élu à la Chambre des communes pour Rye en 1749, poste qu'il occupe jusqu'en 1754, puis représente le Sussex jusqu'en 1768. Il exerce les fonctions de commissaire au commerce et aux plantations de 1754 à 1761, de Lord de l’Amirauté de 1761 à 1762 et de contrôleur de la maison de 1765 à 1774, puis est admis au Conseil privé en 1765.
En 1768, il succède à son cousin le duc de Newcastle en tant que second baron Pelham de Stanmer, selon un extrait spécial des Lettres patentes. Il hérite aussi du titre de baronnet de Pelham créé en 1611. Il est également arpenteur général des douanes de Londres de 1773 à 1805 et dernier gardien de la grande garde-robe de 1775 à 1782. Le 23 juin 1801, il est créé comte de Chichester.