V sovietskej reprezentácii bol členom legendárnej päťky spolu s Larionovom, Krutovom, Fetisovom a Kasatonovom. Mali prezývku Green line podľa farby tréningových tričiek.
Ako talentovaný hokejista vyrástol v Rusku, vyhral dve juniorské majstrovstvá sveta. Na druhých majstrovstvách bol vyhlásený za najlepšieho hráča. So Zbornou triumfoval na majstrovstvách sveta v rokoch 1979, 1981, 1982, 1983, 1986, 1989 a 1990. Bol dôležitou súčasťou sovietskych tímov v rokoch 1984 a 1988, kedy Sovietsky zväz vyhral zlaté medaily na Ľadový hokej na olympijských hrách.
V ligovej súťaži odohral 11 sezón za CSKA Moskvu, 8-krát získal ocenenie hráč roka a 9-krát sa stal najproduktívnejším hráčom ligy. Spoločne s Igorom Larionovom a Vladimirom Krutovom sformovali jednu najproduktívnejších útočných formácii. Ta mala prezývku KLM, alebo aj Zelená formácia.
V roku 1989 dostal povolenie prestúpiť do NHL. Hrával za klub Calgary Flames, ktorý si ho vybral v drafte ešte v roku 1983. Počas svojej prvej sezóny nazbieral 85 bodov a získal Calder Memorial Trophy za najlepšieho nováčika súťaže. Túto cenu dostal ako 31 ročný hokejista, čím sa stal najstarším hráčom, ktorému sa to podarilo. Dôsledok toho bol, že NHL prijala pravidlo, že Calder Trophy môžu získať len hráči do 26 rokov. Makarov v rokoch 1993 až 1995 hrával so San José Sharks, kde sa opäť stretol s Igorom Larionovom a za Dallas Stars.