Корінний одесит Сергій Жарков почав займатися футболом у СДЮШОР рідного міста, де його тренером був Олександр Руга. У п'ятнадцятирічному віці хлопця було зараховано до дублюючого складу одеського «Чорноморця». Ще у юнацтві, під час бійки Сергію потрапили каменем в обличчя. Удар був настільки сильним, що він перестав бачити правим оком. Граючи у футбол, Жарков всіляко приховував свою недугу від лікарів та тренерів. Виявився обман на одній з медкомісій у «Чорноморці», проте на той час 17-річний футболіст, що бачив тільки одним оком, вже зміг довести свою спроможність на футбольному полі. Виступав Сергій переважно за дублюючий склад «моряків», лише одного разу вийшовши у складі першої команди у матчі на Кубок СРСР.
Згодом Жаркова запросили до юнацької збірної СРСР, де він став основним гравцем. У 1977 році знаходився у розташуванні збірної на молодіжному чемпіонаті світу, що проходив в Тунісі і завершився перемогою радянської команди, однак через конфлікт з тренером Сергієм Мосягіним на поле так і не вийшов, хоча як член команди золоту медаль все ж отримав.
У 1978 році Сергія було призвано до армії та направлено до одеського СКА, що виступав у першій лізі. У команді разом з Жарковим «служили» такі відомі футболісти як Ігор Бєланов, Петро Чілібі та інші. Відігравши в армійському клубі два з половиною роки, повернувся до «Чорноморця», ставши гравцем основного складу та на багато років застовпивши за собою ліву бровку як у захисті, так і в середній лінії. У 1984 році одесити посіли 4 місце в чемпіонаті СРСР, отримавши право представляти країну в Кубку УЄФА, де Сергій дебютував 18 вересня1985 в матчі проти німецького «Вердера»[1].
У 1986 році одесити зайняли передостаннє місце у турнірній таблиці та залишили вищу лігу, проте вже через рік знову підвищилися у класі не останнім чином завдяки впевненій грі Сергія Жаркова. У 1988 році, провівши загалом дев'ять сезонів у складі «Чорноморця», Жарков вирішив закінчити кар'єру футболіста.
Залишивши великий футбол, Сергій протягом року виступав за ветеранську збірну СРСР. Пізніше ходив у плавання на судні «Максим Горький», куди був зарахований на посаду спортивного інструктора. У складі екіпажу здійснив три навколосвітні подорожі і похід до архіпелагу Шпіцберген.
У 1992 році, зійшовши на берег, отримав запрошення від команди СК «Одеса», де був граючим тренером, а у 1993 році суміщував функції гравця з посадою головного керманича команди. Пізніше, через розбіжності з керівництвом клубу, залишив тренерський пост.
