Larionov syntyi Tiraspolissa lähellä Odessaa Venäjän keisarikunnassa. Vuonna 1989 hän aloitti opinnot Moskovan maalaus-, veisto- ja rakennustaiteen opistossa Isaak Levitanin ja Valentin Serovin alaisuudessa. Hänet erotettiin kolme kertaa liian radikaalien näkemystensä vuoksi. Vuonna 1900 hän tapasi Natalja Gontšarovan, jonka kanssa hän solmi elinikäisen suhteen.
Larionov oli kahden merkittävän venäläisen taiteilijaryhmän, Ruutusotamiehen (1909–1911) ja radikaalimman Aasinhännän, perustajajäseniä, ja hän antoi molemmille nimen. Hänen ensimmäinen yksityisnäyttelynsä oli yhden päivän mittainen Moskovassa vuonna 1911. Georgialainen taiteilija Niko Pirosmani vaikutti Larionoviin.
Vuonna 1913 Larionov perusti rayonismin, joka oli ensimmäinen lähes abstrakti taidesuuntaus Venäjällä. Hän piti yhden miehen esityksen Omega-työpajassa. Vuonna 1915 hän jätti Venäjän ja työskenteli Pariisissa Sergei DjagilevinBallets russes -seurueen produktioissa. Hän vietti loppuelämänsä Ranskassa, ja hän ja Gotšarova saivat Ranskan kansalaisuuden vuonna 1939. Hän kuoli 82-vuotiaana Pariisin esikaupungissa Fontenay-aux-Rosesissa.