W latach 1858–1859 był podsekretarzem stanu w Ministerstwie Kolonii. W latach 1866–1867 stał na czele tego resortu. Przedstawił również projekt British North America Act, który przyznawał Kanadzie ograniczoną suwerenność. Zrezygnował w 1867 r., kiedy Benjamin Disraeli przedstawił projekt reformy wyborczej.
Carnarvon powrócił do rządu w 1874 r. Ponownie został ministrem kolonii. Postulował nadanie autonomii na wzór kanadyjskim Afryce Południowej, ale zrealizował tego zamierzenia. Zrezygnował w 1878 r. w proteście przeciwko rządowej polityce wschodniej. W latach 1885–1886 był Lordem Namiestnikiem Irlandii.
Zmarł w 1890 r. i został pochowany w zamku Highclare w hrabstwie Berkshire.
26 grudnia1878 r. poślubił Elizabeth Catherine Howard (29 marca1856–1 lutego1929), córkę Henry’ego Howarda i Charlotte Long, córki Henry’ego Long. Henry i Elizabeth mieli razem dwóch synów: