Iàzov va allistar-se voluntàriament a l'Exèrcit Roig al novembre de 1941; i al no poder completar l'educació secundària, va inscriure's per estudiar a l'Escola d'Infanteria de Moscou, graduant-se al juny del 1942. Va lluitar a la Gran Guerra Patriòtica comandant escamots i companyies de fusellers als fronts de Volkhov i Leningrad, en les operacions ofensives al Bàltic i en el bloqueig de Curlàndia. Va ser ferit i condecorat en combat.
Després de la guerra, va graduar-se en els cursos de formació inicial per a oficials que es feren al Front de Volkhov; i posteriorment realitzà els cursos de formació avançada per a oficials de l'Exèrcit Roig, graduant-se el 1946 i sent nomenat comandant de companyia de fusellers. El 1953 va graduar-se a l'escola secundària, i el 1956 es graduà amb una medalla d'or a l'Acadèmia Militar Frunze, sent nomenat comandant de batalló. Des d'octubre de 1958 estava destinat a l'oficina d'entrenament de combat del districte militar de Leningrad. El 1962 és promogut a coronel, i durant la crisi dels míssils de Cuba va ser enviat en secret a l'illa, on va romandre un temps en alerta per repel·lir l'esperada invasió dels Estats Units. Des de desembre de 1963 era diputat, a més de ser del Departament de Planificació i la formació de forces combinades del personal de les forces armades del districte de Leningrad fins a 1965.
De tarannà conservador, ser impopular en els cercles de partidaris de la perestroika, unint-se als preparatius del Comitè d'Emergència de l'Estat; i en esclatar el cop d'estat va donar l'ordre perquè els tancs i altres equips pesats entressin a Moscou. Finalment, convençut del fracàs del cop, va dirigir-se a Foros, on Gorbatxov es trobava retingut a la seva datxa, sent detingut a l'aeroport al seu retorn.
Durant el període de Ieltsin, Iazov va ser processat i absolt el 1994. Més tard va passar a participar en les activitats dels veterans present entre els convidats d'honor en la desfilada de la victòria. Després de la seva dimissió, durant algun temps va ocupar el càrrec d'Assessor Militar en Cap de la Direcció General de Cooperació Militar Internacional del Ministeri de Defensa rus, així com assessor en cap de l'Acadèmia de l'Estat Major General. És membre dels òrgans rectors d'organitzacions públiques (inclosa la Comissió de la memòria del mariscal Júkov, el Fòrum "Reconeixement Públic", etc.) i Consultor en Cap del Centre Memorial Militar de les Forces Armades de Rússia.
Malgrat la selecció per Gorbatxov per la posició del ministre de Defensa, William E. Odom, en el seu llibre "El Col·lapse de la Unió Soviètica Militar," es repeteix la descripció Alexander Iakovlev de Yazov com un "mediocre oficial, apte per a comandar una divisió, res més alt». (Odom, 1998, p.111) suggereix Odom, Gorbatxov va ser només a la recerca d'"arribistes que seguirien les ordres".