W 1881 r. został młodszym lordem skarbu i był nim do 1885 r. W 1886 r. był przez krótki czas finansowym sekretarzem w Ministerstwie Wojny. W 1892 r. został podsekretarzem stanu w Ministerstwie Spraw Wewnętrznych. W rządzie lorda Rosebery’ego był w latach 1894–1895 pierwszym komisarzem ds. prac publicznych. W 1899 r. został głównym whipem Partii Liberalnej. W 1903 r. z ramienia liberałów negocjował porozumienie wyborcze z Labour Representation Committee.
Gladstone powrócił do rządu w 1905 r. jako minister spraw wewnętrznych. W 1910 r. został pierwszym gubernatorem generalnym Związku Południowej Afryki. Otrzymał wówczas Krzyż Wielki Orderu św. Michała i św. Jerzego oraz tytuł 1. wicehrabiego Gladstone. Na stanowisku gubernatora pozostawał do 1914 r. Po powrocie do Wielkiej Brytanii otrzymał Krzyż Wielki Orderu Łaźni.
Podczas I wojny światowej był zaangażowany w działalność wielu instytucji charytatywnych, m.in. War Refugees Cmmittee, South African Hospital Fund oraz South African Ambulance in France. W 1917 r. otrzymał Krzyż Wielki Orderu Imperium Brytyjskiego. Zmarł w 1930 r. i został pochowany w kościele w Little Munden.
Był żonaty z Dorothy Paget, ale nie pozostawił potomstwa. Wraz z jego śmiercią wygasł tytuł parowski.
