Baghramjan var en av de sovjetiska officerare som 1936 antogs till den nyinrättade generalstabsutbildningen, tillsammans med ett flertal andra blivande ledande sovjetiska militärer som till exempel Vatutin, Antonov och Vasilevskij.[2] Han hade inte omedelbart gått med i kommunistpartiet efter konsolideringen av oktoberrevolutionen utan blev medlem först 1941, vilket var ovanligt för att vara en sovjetisk militärofficer.
Vid slaget vid Kursk var 11:e gardesarmén under Baghramjan ett av de förband som ledde det sovjetiska motanfallet operation Kutuzov. I november 1943 utnämndes Baghramjan av Stalin till befälhavare för 1:a baltiska fronten, en post som han innehade även i juni 1944 när 1:a baltiska fronten fungerade som den norra flanken i operation Bagration. Baghramjans front fick uppdraget att slå in en kil i Baltikum mellan den tyska armégrupp Nord och de tyska ställningarna i Vitryssland, något som ledde till inringningen av de tyska styrkor som i januari 1945 skulle ingå i armégrupp Kurland.
Vid anfallet mot Ostpreussen i januari 1945 och anfallet mot Königsberg i mars/april samma år anförtroddes Baghramjan med befälet över Samlandgruppen, det förband som skulle utföra stormningen av staden.[5]
Efterkrigstiden
Efter kriget tjänstgjorde han som suppleant i Högsta sovjet för det Lettiska SSR och Armeniska SSR och var en regelbunden deltagare i partikongresser. Han utnämndes till försvarsminister 1955 och befordrades i samband med detta till marskalk av Sovjetunionen. År 1952 blev han en kandidat för inträde i centralkommittén och 1961 valdes han in som fullvärdig medlem. För sina insatser under kriget betraktades han allmänt som en nationalhjälte i Sovjetunionen,[6] och i synnerhet i Armenien.