Foreldra til Sjaljapin var fattige bønder. Han fekk si fyrste songundervisning i Kirchenchor. År 1894 debuterte han i Tblisi som øvsteprest i Giuseppe Verdis opera Aida, spelte seinare rolla på Mariinskij-teateret i St. Petersburg. I 1896 vart han invitert til ei privatdriven operascene i Moskva, der han framstilte hovudrollene i Boris Godunov og Ivan den skrekkelege.
1901 reiste Sjaljapin til Vest-Europa. Han song så på operascenen La Scala i Milano, og frå 1907 ved operahuset Metropolitan i New York. Her fekk han ikkje den heilt store suksessen og reiste derfor i 1908 til operaen i Paris. Dei komande åra var han engasjert på dei store scenene i Moskva og St. Petersburg.
Sjaljapin reiste i Sovjetunionen siste gongen i 1921. Sidan turnerte han ikkje der, då han mislikte framferda til det nye politiske maktapparatet. Ein opptreden i New York same året fekk store fylgjer. Han vart då verande i byen og song der i seks sesongar. I 1926 reiste han på turne i Australia, før han forflytta seg til Covent Garden i London.
Ved sidan av sitt russiske repertoar framstilte han Mefistofeles i Faust, Don Basilio, Leporello i Don Giovanni og kong Filip i Don Carlos av Verdi. Sjaljapin var ein kjempestor kar og song med ein mørk, kraftfull bass. Han var ein av dei fyrste songarane som la vekt på å gje ei djupare psykologisk forståing av dei figurane han framstilte i operaene. Hans fremste eigenskap som songar var den dramatiske intensiteten han framkalla, som lenge etter einast Maria Callas og få andre oppnådde.
I 1910 fekk Sjaljapin i Monte Carlo hovudrolla i urframføringa av Don Quixote av Jules Massenet. I 1933 spelte han hovudrolla i tre filmar regissert av Georg Wilhelm Pabst, Don Quixote. Alle filmane var bygt over same manuskript og same kulissar, men skodespelarane, utanom Sjaljapin, og språkføringa var høvesvis engelsk, fransk og tysk.
Sjaljapin var den mest feira bassongaren i verda i den fyrste halvdelen av det 20. hundreåret. Sidan 2000 har det årleg vore halde ein 'Sjaljapin operasong-festival' på Krim i Ukraina.