Il est né dans une famille de paysans Biélorusse à Kozliki, une petite ville dans la province de Grodno, maintenant dans le comté de Białystok en Pologne, à l'époque dans l'Empire russe. Il a travaillé comme enseignant dans une école rurale où il participe à un certain nombre de manifestations contre le tsar.
Il commence sa formation militaire en 1919, mais est fréquemment appelé par l'Armée rouge. Il est diplômé en 1921 et est nommé chef d'état-major d'une division stationnée au Turkménistan. Blessé lors d'une bataille près de Samarkand, il est décoré pour sa bravoure. Après la guerre civile russe, il occupe un certain nombre de postes : il devient le chef d'état-major du district militaire de Moscou et ensuite le sous-chef de l'état-major général, poste qu'il occupait au début de l'invasion allemande de l'Union soviétique, l'opération Barbarossa.
Seconde Guerre mondiale
En alors que les forces allemandes trouvent à quelques kilomètres de Moscou, il est nommé chef d'état-major du front occidental et coordonne les contre-attaques d'hiver soviétiques qui forcent les Allemands à desserrer leur emprise sur Moscou, les batailles de Rjev (1942). Il quitte ce poste en , pour prendre le commandement du Front de l'Ouest.
Il a dirigé ce front durant la bataille de Koursk et jusqu'en , lorsque le front occidental est divisé en deux parties. Il est nommé chef d'état-major du 1er Front ukrainien. Il est resté à ce poste jusqu'à la fin de la guerre comme chef d'état-major, il a aidé à planifier et à exécuter l'opération de Berlin.
Dans le manuel de référence de l'Armée soviétique dont il est l'auteur, intitulé Stratégie militaire (1962), il met au point la doctrine qui porte son nom, la doctrine Sokolovski.