Командував кавалерійськими підрозділами, служив у свиті імператора Олександра II (1862—1866) флігель-ад'ютантом. Брав участь у російсько-турецькій війні 1877—1878; командував 70-тисячним військом, здійснив складний перехід через Балкани і, здобувши ряд перемог, звільнив від турецьких військ Софію й інші болгарські міста та Адріанополь (нині м. Едірне, Туреччина).
Для боротьби з терористами-народниками, які винесли Г. смертний вирок, 1879 розробив інструкцію «Порядок виконання смертних вироків» (рос.Порядок исполнения смертных приговоров), що діяла в Російській імперії наприкінці 1870 — поч. 1880-х рр.
У 1883—1894 — командував військами Варшавського військового округу[ru] і одночасно був генерал-губернатором. Займався спорудженням фортець та будівництвом стратегічних доріг, підготовкою військ до майбутніх бойових дій. У російській історіографіїГ. вважається послідовником суворовської школи (див. О.Суворов) у військовій справі.
У 1894 р. пішов у відставку і мешкав у своєму маєтку.