Wychowanek Szkoły Sportowej w Woroneżu. Pierwszy trener - Władimir Nikitienko. W 1982 rozpoczął karierę piłkarską w miejscowym klubie Fakieł Woroneż. W roku 1984 na gracza zwrócił uwagę trener Spartaka MoskwaKonstantin Bieskow (zwłaszcza po grze o Puchar ZSRR, kiedy Fakieł pokonał Spartak). Jednak w tym samym roku Shzmarow został wezwany do służby w wojsku i zgodnie z dyrektywą wysłany do Chabarowska. Pięć miesięcy spędził w SKA Chabarowsk, grał w zespole rezerw pod przybranym nazwiskiem - Igor Protasow (w klubie był gracz o takim imieniu i nazwisku, ale w tym czasie leczył kontuzję)[1]. W 1985 roku grał w CSKA Moskwa, który spadł z Wysszej Ligi w poprzednim roku. W tym sezonie Szmarow został najlepszym strzelcem, zdobywając 29 bramek w 40 meczach. Jednak zespół był zmuszony walczyć o awans w barażach. Po pierwszych 2 nieudanych meczach barażowych, Szmarow został oddelegowany z drużyny i wysłany do koszar. Służbę wojskową zakończył 31 grudnia 1985 r., po czym powrócił do Fakiełu Woroneż. W 1987 roku postanowił przenieść się do Spartaka Moskwa, w którym z powodzeniem grał przez 5 lat, dwukrotnie stając się mistrzem ZSRR. W finałowym meczu o mistrzostwo 1989 roku w ostatniej chwili zdobył "złoty gol" w meczu z Dynamem Kijów, a w 1990 roku zdobył wraz z Ołehiem Protasowym tytuł króla strzelców mistrzostw.
W 1991 roku wyjechał do Niemiec, gdzie przez trzy sezony bronił barw Karlsruher SC. Na początku występował w ataku, a potem po lewej stronie w środku pola. Dzięki jego podaniom często zdobywał bramki Siergiej Kirjakow. W trzecim sezonie trener Winfried Schaefer umieścił Szmarowa na pozycję w defensywie, co w efekcie doprowadziło do odejścia zawodnika z zespołu. W 1995 roku przeniósł się do Arminii Bielefeld, która akurat awansowała z regionalnej Oberligi do Bundesligi 2.
Latem 1995 piłkarz zdecydował na powrót do Rosji. Spartak Moskwa wykupił transfer od Karlsruher SC. Sezon 1995 w Spartaku okazał się dla Szmarowa udanym: 16 goli w 20 meczach (trzecie miejsce w klasyfikacji strzelców). W 1996 roku, po kilku meczach sezonu nie potrafił znaleźć porozumienia z nowym trenerem Gieorgijem Jarcewym i odszedł z klubu do Korei Południowej, gdzie spędził tylko 3 miesiące (choć termin ważności umowy wynosił 1,5 roku) w Chunnam Dragons[2].
Od 1997 do 2001 Szmarow występował w macierzystym klubie Fakieł Woroneż, który balansował pomiędzy pierwszą i najwyższą ligą. Zakończył karierę w Arsenale Tuła, grającej w drugiej lidze, gdzie w tym samym czasie grał jego 17-letni syn Dienis Szmarow.
25 maja 2003 w Woroneżu odbył się jego mecz pożegnalny pomiędzy Fakiełem i Spartakiem, w którym Szmarow grał dla obu zespołów i zdobył cztery gole[3].
Po zakończeniu kariery piłkarskiej rozpoczął pracę trenerską. Najpierw w 2003 w ciągu trzech miesięcy prowadził Czkałowiec-1936 Nowosybirsk. Po zakończeniu Wyższej Szkole Trenerskiej w latach 2006-2008 trenował FCSz-73 Woroneż, który spędził dwa pierwsze sezony w Lidze Amatorskiej, a następnie jeden sezon w drugiej lidze (strefa centralna) mistrzostw Rosji. Od listopada 2008 do czerwca 2009 pracował na stanowisku głównego trenera klubu Fakieł Woroneż[4].
