Гречкова прва командна дужност током Другог светског рата је била у 34. коњичкој дивизији, која се храбро држала око Кременчуга (близу Кијева) у Украјини. 15. јануара 1942. Гречку је дата команда над целим 5. коњичким корпусом. Почев од 15. априла 1942. па до 16. октобра 1943, Гречко је командовао 12. армијом, 47. армијом, 18. армијом, и 56. армијом. Све ове јединице су биле део Севернокавкаског фронта.
У октобру 1943, Гречко је унапређен у заменика главнокомандујућег 1. украјинског фронта. Затим, 14. децембра 1943. је постао командант 1. гардијске армије, што је дужност на којој је био до краја рата.[1]
Прва гардијска армија је била део 4. украјинског фронта, који је водио генерал армиje Петров. Гречко је водио 1. гардијску у већем броју офанзивних операциja y Чехословaчкоj.
Након рата Гречко је био командант Кијевског војног округа до 1953. Између 1953. и 1957. је био главнокомандујући Совјетских снага у Источној Немачкој. 11. марта 1955, Гречко је, са пет других колега високог чина, који су сви стекли углед током Другог светског рата, унапређен у чин Маршала Совјетског Савеза.[1] ОД 1957. до 1960, Гречко је био главнокомандујући копнених снага, а од 1960. до 1967, је био главнокомандујући снага Варшавског пакта. 12. априла 1967. је постављен за министра одбране, што је дужност коју је предузео убрзо након што је умро маршал Родион Малиновски. Гречко је на овој дужности био до своје смрти 1976. Током 1970-их, Гречко је био председавајући уређивачке комисије која је писала совјетску историју Другог светског рата.
Гречко је био активни члан Комунистичке партије, и члан Политбироа. Као министар одбране је помогао модернизацију совјетске војске, и био је у великој мери значајан за очување снаге совјетске државе. Урна са његовим пепелом је смештена у некрополи у зиду Кремља.
