De 1929 à 1935, Nikolaï Makarov étudia la mécanique dans une école professionnelle de Riazan et travailla ensuite à l'entretien et la réparation des locomotives à vapeur du dépôt de locomotives de Sassovo, sa ville natale. De 1941 à 1945, il fréquenta l'institut technique de Toula, puis travailla dans une fabrique d'armes de cette ville, d'abord comme contremaître, puis comme ingénieur en chef de bureau d'études. De 1946 à 1951, Makarov profita de document saisis et des installations industrielles de l'Allemagne occupée pour mettre au point un pistolet dérivé du Walther PP : le Makarov PM, considéré comme l'un des meilleurs pistolets du XXe siècle.