У 1883 годзе быў прызначаны міністрам унутраных спраў. З 24 снежня1889 года — прэм’ер-міністр Японіі; сышоў у адстаўку 6 мая1891 года з-за канфлікту з першым японскім парламентам. Неўзабаве пасля адстаўкі стаў адным з саветнікаў імператара (гэнро). Камандуючы Першай японскай арміяй у япона-кітайскай вайне 1894—1895 гадоў.
Другі раз стаў прэм’ер-міністрам у 1898 і знаходзіўся на чале ўрада да кастрычніка 1900 года. У маі 1900 года правёў праз парламент закон, па якім міністры арміі і ваенна-марскога флоту маглі прызначацца толькі з ліку ваенных, размешчаных на абавязковай службе. Такім чынам, з гэтага часу ваенныя міністры падпарадкоўваліся не прэм’ер-міністру, а непасрэдна імператару як вярхоўнаму галоўнакамандуючаму. Гэтым законам армія забяспечыла сабе амаль поўную аўтаномію ад грамадзянскага кіраўніцтва краіны.
На працягу руска-японскай вайны 1904—1905 гадоў зноў быў начальнікам Генеральнага штаба. Пасля заканчэння войны Ямагата адышоў ад актыўнай палітычнай дзейнасці, але заставаўся ўплывовай фігурай да самай сваёй смерці ў 1922 годзе.
ЯМАГАТА Аритомо // Япония от А до Я. Популярная иллюстрированная энциклопедия. (CD-ROM). — М.: Directmedia Publishing, «Япония сегодня», 2008. — ISBN 978-5-94865-190-3.