Jerjomin begon zijn loopbaan als speler in 1969 bij Oeralmasj Sverdlovsk, waar hij tot 1974 bleef. Hij verhuisde in 1974 naar Moskou om voor CSKA Moskou te gaan spelen. Met CSKA werd hij negen keer kampioen van de Sovjet-Unie in 1976, 1977, 1978, 1979, 1980, 1981, 1982, 1983 en 1984. Jerjomin was ook een speler van het nationale basketbal team van de Sovjet-Unie (1977-1984), en haalde een bronzen medaille in 1980 op de Olympische Spelen. Hij werd wereldkampioen in 1982 en Europees kampioen in 1979 en 1981. Ook won hij goud op de Vriendschapsspelen in 1984. Hij was aanvoerder van de Sovjet-Unie van 1981 tot 1984. In 1985 stopte Jerjomin met basketballen.
In 1986 werd hij hoofd coach van BC Al Jeish in Syrië. In 1988 werd hij coach van het junioren team van CSKA Moskou en in 1989 assistent-coach van het eerste team van CSKA Moskou. Van 1992 tot 2000 was hij hoofd coach van het eerste team van CSKA Moskou. Hij werd negen keer kampioen. Hij won met CSKA de NEBL in 2000. Ze wonnen de finale van Lietuvos rytas Vilnius uit Litouwen met 95-77.[1] In 2000 stapte hij over naar UNICS Kazan waar hij in 2003 de Russische beker en in 2004 de EuroChallenge won. In 2006 ging hij naar Trioemf Oblast Moskou Ljoebertsy.
Van 1997 tot 1999 was hij assistent coach van Sergej Belov bij het nationale team van Rusland. Van 2000 tot 2002 was hij hoofdcoach van het nationale team van Rusland.