Gergijevin vanhemmat ovat osseetteja; hän varttui aikuiseksi Pohjois-Ossetiassa, Vladikavkazin kaupungissa. Gergijev opiskeli orkesterinjohtoa Leningradin konservatoriossaIlja Musinin ohjauksessa, ja hänet nimitettiin vuonna 1978 Kirovin oopperan apulaisjohtajaksi, missä hän debytoi johtamalla Sergei Prokofjevin oopperan Sota ja rauha. Hänet nimitettiin Kirovin oopperan ylikapellimestariksi ja taiteelliseksi johtajaksi vuonna 1988 ja Mariinski-teatteriksi muuttuneen Kirovin johtajaksi vuonna 1996.
Suomessa Gergijev orkestereineen on vieraillut useasti. Erityisesti Mikkelin musiikkijuhlat ovat olleet mariinskilaisten suosiossa, onhan Gergijev toiminut Mikkelin musiikkijuhlien taiteellisena johtajana jo vuodesta 1993. Gergijev oli musiikkikriitikko Seppo Heikinheimon läheinen ystävä ja järjesti tälle muistokonsertin Mikkelin musiikkijuhlilla 2007.[2]
Gergijev on tullut tunnetuksi oikuttelustaan, mikä on ilmennyt esimerkiksi siten, että hän on toistuvasti saapunut konsertteihin myöhässä ja näennäisen valmistautumattomana. Muun muassa suomalaiset Jaakko ja Pekka Kuusisto ovat tästä syystä julkisuudessa voimakkaasti kritisoineet Gergijeviä yleisönsä aliarvioimisesta. Hän on myös usein antanut solisteille hyvin niukasti harjoitusaikaa ennen esiintymisiä, minkä vuoksi eräät solistit ovat kieltäytyneet työskentelemästä Gergijevin kanssa. [3]
Gergijevillä on läheiset suhteet Venäjän vallanpitäjiin. Vuonna 2014 Gergijevin nimi oli mukana adressissa, jolla venäläinen kulttuurieliitti ilmaisi Krimin miehityksen jälkeen tukensa presidentti Vladimir PutininUkrainan-politiikalle. Suomalaisittain tapaus herätti huomiota sopraano Karita Mattilan kieltäydyttyä tämän vuoksi esiintymästä Gergijevin johtamassa konsertissa New Yorkissa.[3] Vuonna 2022 Münchenin filharmonikot irtisanoi Gergijevin pääkapellimestarin tehtävästä. Mikkelin musiikkijuhlat ilmoitti, ettei Gergijev osallistu vuoden 2022 juhlien ohjelman valmisteluun.[4]
