Po wyborach 1880 r. Balfour zrezygnował ze stanowiska sekretarza i skupił się na działalności parlamentarnej. Rychło stał się ważną figurą wśród młodszych konserwatywnych deputowanych. Razem z lordem Randolphem Churchillem, sir Henrym Wolffem i Johnem Gorsten tworzył tzw. „Partię Czterech”.
Kiedy po wyborach 1885 r. lord Salisbury objął stanowisko premiera, powierzył siostrzeńcowi stanowisko przewodniczącego Rady Samorządu Lokalnego. W 1886 r. został członkiem gabinetu jako minister ds. Szkocji. W 1887 r. został przeniesiony na stanowisko Głównego Sekretarza Irlandii. Na tym stanowisku dał się poznać jako zdecydowany przeciwnik wprowadzenia w Irlandiiautonomii.
W 1891 r. Balfour został pierwszym lordem skarbu. Był ostatnią osobą, która sprawowała ten urząd nie będąc jednocześnie premierem. Pozostał na tym stanowisku do wyborczej porażki konserwatystów w 1892 r. Jego partia powróciła do władzy w 1895 r. i Balfour ponownie został pierwszym lordem skarbu. W 1899 r. odpowiadał za negocjacje z republiką Transvaalu, tuż przed wybuchem II wojny burskiej.
Premier
Lord Salisbury zrezygnował ze stanowiska premiera 11 lipca 1902 r. Balfour został nowym premierem ciesząc się poparciem Partii Konserwatywnej oraz koalicjantów z Partii Liberalno-Unionistycznej. Na początkowy okres jego rządów przypadło zakończenie II wojny burskiej i koronacja Edwarda VII. W tym czasie uchwalono ustawy: Education Act to London oraz Irish Land Purchase Act. Utworzono również Komitet Obrony Imperium.
W polityce zagranicznej nastąpiło znaczące polepszenie stosunków z Francją, zwieńczone podpisaniem w 1904 r. Entente cordiale. W tym czasie wybuchła również wojna rosyjsko-japońska, w której Wielka Brytania popierała Japonię. Doprowadziło to do pogorszenia się stosunków brytyjsko-rosyjskich, zwłaszcza po ostrzelaniu przez rosyjską marynarkę wojenną brytyjskich statków rybackich na Morzu Północnym (incydent na Dogger Bank). Balfour koncentrował się jednak na sprawach wewnętrznych, politykę zagraniczną powierzając właściwemu ministrowi, lordowi Lansdowne’owi.
Ważną kwestią była polityka gospodarcza, na tle której dochodziło do spięć w łonie koalicji. Liberalni Unioniści popierali wolny handel, konserwatyści byli zwolennikami protekcjonalizmu. Balfour próbował lawirować między obydwiema frakcjami, ale bez rezultatu. W 1905 r. Partia Liberalno-Unionistyczna opuściła koalicję. W grudniu 1905 r. Balfour zrezygnował ze stanowiska premiera. Zastąpił go lider liberałówHenry Campbell-Bannerman.
W styczniu 1906 r. odbyły się wybory parlamentarne, które przyniosły lawinowe zwycięstwo Partii Liberalnej. Balfour przegrał wybory w swoim okręgu, ale powrócił do parlamentu jeszcze w tym samym roku, wygrywając wybory uzupełniające w okręgu City of London.
Dalsze lata
Balfour pozostał liderem Partii Konserwatywnej, ale jako Lider Opozycji niewiele mógł zdziałać przeciwko dominującym w Izbie Gmin liberałom. Balfour próbował więc wykorzystać zdominowaną przez konserwatystów Izbę Lordów do odrzucania rządowych ustaw. Liberałowie odpowiedzieli na to projektem „Konstytucji Ludowej”, który stał się podstawą Parliament Act z 1911 r., znacznie ograniczającego kompetencje Izby Lordów. W następstwie tych wydarzeń Balfour w 1911 r. zrezygnował ze stanowiska lidera konserwatystów. Zastąpił go Andrew Bonar Law.
Były premier pozostał jednak ważną figurą w partii. Kiedy w maju 1915 r. konserwatyści weszli do rządu wojennego, Balfour otrzymał stanowisko pierwszego lorda Admiralicji. Kiedy w 1916 r. nowym premierem został David Lloyd George, Balfour został ministrem spraw zagranicznych. W 1917 r. ogłosił deklarację Balfoura o utworzeniu żydowskiego państwa w Palestynie.
Balfour zrezygnował ze stanowiska ministra po traktacie wersalskim w 1919 r., ale pozostał w gabinecie jako lord przewodniczący Rady. W latach 1921–1922 reprezentował Wielką Brytanię na Konferencji Morskiej w Waszyngtonie. Podobnie jak większość byłych konserwatywnych liderów nie wszedł w skład gabinetów Bonar Lawa i Baldwina w latach 1922–1924. Do rządu powrócił dopiero w 1925 r., kiedy to po śmierci lorda Curzona ponownie został Lordem Przewodniczącym Rady. Pozostał na tym stanowisku do 1929 r.
Od 1922 r. Balfour był członkiem Izby Lordów z tytułem 1. hrabiego Balfour. Przez całe życie cieszył się dobrym zdrowiem, jednak pod koniec 1928 r. stan jego zdrowia pogorszył się. Do końca życia cierpiał na zapalenie żył. Zmarł w 1930 r. Nigdy się nie ożenił i nie pozostawił potomstwa. Tytuł parowski, na podstawie specjalnego postanowienia, odziedziczył jego młodszy brat Gerald.
Był honorowym doktorem praw Uniwersytetu Edynburskiego (od 1881), Uniwersytetu St Andrews (od 1885), Uniwersytetu Cambridge (od 1888), Uniwersytetu Dublińskiego (od 1891) oraz Uniwersytetu Glasgow (od 1891). W 1888 r. został członkiem Senatu Uniwersytetu Londyńskiego. W tym samym roku został członkiem Royal Society. W 1891 r. został kanclerzem Uniwersytetu Edynburskiego. W 1886 r. został rektorem Uniwersytetu St Andrews, a w 1891 r. Uniwersytetu Glasgow.
maj 1903 – lord Onslow zastępuje Roberta Hanburyego na stanowisku przewodniczącego Rady Rolnictwa
wrzesień/październik 1903 – lord Londonderry zastępuje księcia Devonshire na stanowisku Lorda Przewodniczącego Rady pozostając jednocześnie na swoim poprzednim stanowisku, lord Salisbury zastępuje Balfoura na stanowisku lorda tajnej pieczęci, Austen Chamberlain zastępuje Charlesa Ritchie’ego na stanowisku kanclerza skarbu, następcy Chamberlaina na stanowisku poczmistrza generalnego nie wchodzą w skład gabinetu, Alfred Lyttelton zastępuje Josepha Chamberlaina na stanowisku ministra ds. kolonii, St John Brodrick zastępuje lorda George’a Hamiltona na stanowisku ministra ds. Indii, Hugh Arnold-Forster zastępuje Brodricka na stanowisku ministra wojny, Andrew Murray zastępuje lorda Balfoura of Burleigh na stanowisku ministra ds. Szkocji
marzec 1905 – Walter Long zastępuje George’a Wyndhama na stanowisku Głównego Sekretarza Irlandii, Gerald Balfour zastępuje Longa na stanowisku przewodniczącego Rady Samorządu Lokalnego, lord Salisbury zastępuje Balfoura na stanowisku przewodniczącego Zarządu Handlu pozostając jednocześnie na swoim poprzednim stanowisku, lord Cawdor zastępuje lorda Selborne’a na stanowisku pierwszego lorda Admiralicji, Ailwyn Fellowes zastępuje lorda Onslowa na stanowisku przewodniczącego Rady Rolnictwa
Publikacje
The Humours of Golf, 1890
Essays and Addresses, 1893
The Foundations of Belief, 1895
Questionings on Criticism and Beauty, Clarendon Press, Oksford, 1909