Sergej Gončar je obranca. V najvyššej súťaži začal hrať v sezóne 1991/92 za Traktor Čeľabinsk v ruskej hokejovej superlige. V roku 1992 ho v úvodnom drafte NHL vybralo mužstvo Washington Capitals už v prvom kole ako 14. v celkovom poradí. Nasledujúce dve sezóny chytal za Dinamo Moskva. Od sezóny 1994/95 odohral takmer 10 sezón za Washington a stal sa jednou z opôr tímu. Počas sezóny 2003/04 ho Washington vytrejdoval do tímu Boston Bruins. Počas lockoutu v NHL v sezóne 2004/05 hral za Mettalurg Magnitogorsk v ruskej superlige. Pred sezónou 2005/06 prestúpil do Pittsburghu Penguins. Má uzavretú zmluvu na 3,5 milióna dolárov a je najlepšie plateným hráčom mužstva. Hrá s číslom 55. V roku 2009 získal s tímom Pittsburgh Penguins Stanley cup.