Il est le fils du révérend William John Jolliffe, le fils de William Jolliffe, et son épouse Eleanor Hylton, fille et héritière de Sir Richard Hylton, 5e baronnet (qui a pris le nom de famille de Hylton au lieu de son patronyme Musgrave) et son épouse Anne, sœur et cohéritière de John Hylton, 18e baron Hylton de jure. Jolliffe sert d'abord dans l'armée et atteint le grade de capitaine dans le 15e Dragons. Il participe notamment aux événements de St Peter's Field à Manchester en 1819 (le " massacre de Peterloo ")[1]. En 1821, à l'âge de vingt ans, il est créé baronnet de Merstham dans le comté de Surrey.
Il sert un an en tant que haut shérif de Surrey en 1830, puis siège comme député de Petersfield de 1830 à 1832, de 1837 à 1838 et de 1841 à 1866 [2] et sert sous le comte de Derby comme sous-secrétaire d'État pour le ministère de l'Intérieur en 1852 [3] et comme secrétaire parlementaire du Trésor de 1858 à 1859. Il est admis au Conseil privé en 1859 et en 1866 il est élevé à la pairie en tant que baron Hylton, de Hylton dans le comté palatin de Durham et de Petersfield dans le comté de Southampton.
Jolliffe joue un seul match de première classe pour Hampshire en 1825 contre Sussex. Il marque 12 points dans le match [4].
Il épouse en premières noces, le 8 octobre 1825, Eleanor Paget (1808-1862), fille de Berkeley Paget et de Sophia Askell Bucknall. Ils ont treize enfants :
Hylton Jolliffe ( - ), célibataire, sans enfants ;
Hedworth Jolliffe, 2e baron Hylton ( - ) épouse en premières noces Agnes Mary Georgiana Byng ( - ), dont descendance, puis, épouse en secondes noces Anne Lambert ( - ), sans descendance ;
Mary Augusta Jolliffe ( - ) épouse Sir Edward Birkbeck ( - ), sans descendance ;
William Sydney Hylton Jolliffe ( - ) épouse Gertrude Henrietta Eaton ( - ), dont descendance ;
Walter Hylton Jolliffe ( - ), célibataire, sans enfants ;
Montague Henry Hylton Jolliffe ( - ), célibataire, sans enfants ;
Spencer Hylton Jolliffe ( - ), célibataire, sans enfants.
Il épouse en secondes noces, le 8 octobre 1825, Sophia Penelope Sheffield (1820-1882), fille de Sir Robert Sheffield et de Julia Brigidia Newbolt. Ils n'ont pas d'enfants.