Tcherniakhovski intégra l'Armée rouge à 18 ans et sortit de l'école d'artillerie de Kiev à 22 ans. Capitaine en 1940, à 34 ans, il fut colonel en 1941 à 36 ans. Au , il commandait la 28e division blindée (12e corps mécanisé – 8e armée – région militaire de Riga) et se distingua en faisant barrage à l'armée allemande autour de Šiauliai. Il assura d’août à la défense de Novgorod avec les restes de sa division, puis se replia successivement pour faire barrage aux Allemands sur la route de Leningrad.
En , ne disposant plus de chars, la 28e division blindée fut rebaptisée 241e division de fusiliers, unité rattachée à la 34e armée (général Nikolaï Berzarine). Il participa à la contre-offensive d’hiver de à . Le colonel Tcherniakhovski fut décoré de l’ordre du Drapeau rouge le pour sa défense héroïque à Novgorod, puis d’un second ordre du Drapeau rouge le pour sa conduite lors de l’encerclement des troupes allemandes à Demiansk. Il fut promu au rang de général-major le .
En , il fut rappelé à Moscou pour prendre le commandement du 18e corps blindé (60e armée) qui assura la défense de Voronej. Il se fit remarquer par son habilité dans la conduite des blindés et fut appuyé par le général Vatoutine pour prendre le commandement de la 60e armée (front de Voronej) en ; il ne commandait un corps blindé que depuis un mois et cette série de promotions rapides lui valut quelques inimitiés.[réf. souhaitée] Il libéra Voronej le , puis Koursk le .
Pendant l'été1943, Tcherniakhovski, toujours aux commandes de la 60e armée, défendait l'ouest du saillant de Koursk avec la 65e et 38e armée, de sorte qu'il ne combattit pas directement. Il mena ensuite son armée vers le Dniepr, qu'il franchit le 17 octobre, ce qui lui permit de devenir Héros de l'Union soviétique une première fois. Tcherniakhovski dirigea initialement ses troupes selon un axe sud-ouest pour soutenir l'offensive vers Kiev, cependant Staline et Joukov lui demandent de réorienter ses efforts vers Tchernigov.
Remarqué à nouveau par le général Vatoutine, commandant du premier front ukrainien, sa promotion fut rapide, malgré l'hostilité de Staline en raison de ses origines juives. Il fallut toute l'insistance de Vatoutine pour que Tcherniakhovski reçoive le commandement du troisième front biélorusse au printemps 1944, ce qui le mit à la tête d'environ 40 divisions (375 000 hommes). Il participa alors à l'opération Bagration, puis s'empara de Vitebsk et de Vilnius le . Le , pour ces actions il fut nommé Héros de l'Union soviétique une seconde fois. Il prit ensuite Kovno le 1er août.