Kovaľčuk začínal hokejovú kariéru v klube HC Spartak Moskva v Ruskej hokejovej superlige. V roku 2001 bol draftovaný, ako jednotku draftu si ho vybral klub Atlanta Thrashers. Kovaľčuk sa stal prvým Rusom, ktorý bol draftovaný z prvého miesta.[1] V klube nosil číslo 17 ako poctu útočníkovi Valerijovi Charlamovovi, sovietskej hokejovej hviezde 70. rokov 20. storočia.[2] Na medzinárodnej scéne nosí číslo 71, pretože číslo 17 bolo vyradené z používania.
Vo svojej prvej sezóne 2001-02 strelil v 65 zápasoch 29 gólov, no v boji o Calderov pohár pre najlepšieho nováčika ligy skončil druhý za Danym Heatleym.[1] V sezóne 2003/04 strelil 41 gólov, spolu s Jaromom Iginlom a Rickom Nashom sa stal najlepším strelcom NHL. Počas lockoutu v sezóne 2004/05 hral v Rusku za tím Ak Bars Kazaň. Doposiaľ bodovo najproduktívnejšiu sezónu mal v ročníku 2005/06, keď získal 98 bodov za 52 gólov a 46 asistencií a to znamenalo že sa stal V Atlante Thereshers bodovo aj gólovo najproduktívnejším hráčom v histórii klubu. Ale v sezóne 2006/07 získal bývalý spoluhráč Kovaľčuka Marián Hossa sto bodov a odsunul ho na druhé miesto produktivity tímu. Na konci sezóny 2007/08 odišiel z klubu Marián Hossa a Kovaľčuk sa stal jednoznačne najlepším hráčom v klube. V sezóne 2008/09 nepostúpil s Atlantou do play-off, ale stal sa bodovo najlepším hráčom klubu.
Tesne po začiatku sezóny 2009/10 dosiahol svoj gól číslo 300 v NHL. Bolo to 8. októbra 2009 v zápase proti St. Louis Blues.[3] Bol streleckým lídrom v celej súťaži až do momentu, kedy si zlomil nohu po zblokovaní súperovej strely 24. októbra 2009.[4]
Po viacerých rokovaniach o predĺžení zmluvy s Atlantou došlo 4. februára2010 k hráčskej výmene s klubom New Jersey Devils. Kovaľčuk (a jeho spoluhráč Salmela) sa stal novým hráčom Devils, výmenou za obrancu Oduyu, útočníkov Bergforsa a Cormiera a právom výberu v prvom kole draftu 2010.[5].V marci 2012 dal už svoj gól číslo 400.
Po konci sezóny 2012/2013 končí svoju kariéru v NHL. Vracia sa späť za rodinou do Ruska a v sezóne 2013/2014 bude obliekať dres SKA PETROHRAD
Zúčastnil sa na troch olympijských hrách v rokoch 2002, 2006, 2010 a šiestich majstrovstiev sveta v rokoch 2003, 2005, 2007, 2008, 2009 a 2010. Hneď na prvých olympijských hrách získal s Ruskom bronzovú medailu, ktorú získal taktiež na majstrovstvách sveta v rokoch 2005 a 2007. Na MS 2008 bol členom ruského mužstva, ktoré získalo zlatú medailu, vo finálovom zápase proti Kanade strelil vyrovnávajúci i víťazný gól (v predĺžení). Boli to jeho jediné dva góly na majstrovstvách. Na majstrovstvách sveta v roku 2009 dokázal s Ruskom obhájiť zlaté medaily, keď vo finále vyhralo Rusko znovu nad Kanadou 2 : 1. Vo finále nedal ani jediný gól ale aj tak sa stal najužitočnejším hráčom na šampionáte. V roku 2010, na šampionáte v Nemecku, Rusko po prehre s Českom 1 : 2 získalo striebro. Na týchto MS dvakrát skóroval a deväťkrát prihrával na gól, čím sa stal najproduktívnejším hráčom turnaja.
↑ abNHLPA PLAYER BIO: Ilya Kovalchuk [online]. [Cit. 2007-10-30]. Dostupné online. Archivované 2004-11-12 z originálu.(po anglicky)
↑Larry Wigge. Few doubts surround top pick Kovalchuk - National Hockey League draft, hockey player Ilya Kovalchuk [online]. The Sporting News, 2001. Dostupné online.(po anglicky)
