Il étudie d'abord à Orel dans un séminaire orthodoxe, dont il devient le chef du chœur à quatorze ans. Il entre ensuite au Conservatoire de Moscou, mais n'a pas assez d'argent pour financer ses études. Il est admis à l'école de la Société philharmonique de Moscou, et reçoit des leçons de basson et de composition avec Alexandre Ilinski. Il se produit au basson, aux timbales ou au violon dans les orchestres de théâtre, et ajoute à cela de menus travaux.
Tchaïkovski le soutient et le recommande auprès de plusieurs orchestres, mais en raison de sa mauvaise santé, Kalinnikov doit partir chercher un meilleur climat en Crimée. Il s'installe à Yalta pour le reste de sa vie et y compose la plus grande partie de ses œuvres. Mais rattrapé par la maladie, épuisé, il meurt de la tuberculose le , l'avant-veille de son 35e anniversaire.
Rachmaninov et Tchaïkovski sont parvenus à faire publier certaines de ses œuvres, notamment sa Deuxième symphonie. La Première a rencontré un grand succès de son vivant en Europe.
Parmi ses compositions, on retiendra surtout ses deux symphonies, des pièces orchestrales (dont la musique pour le Tsar Boris d'Alexis Tolstoï) et de nombreux chants ; ainsi qu'une ouverture, Bylina, dont un des thèmes a une ressemblance étonnante avec la musique de l'hymne soviétique d'Alexandre Alexandrov, ce qui fut un argument pour la conserver comme hymne de l'actuelle Russie.
"Le Cèdre et le Palmier", poème symphonique (1898)
2 Intermezzi en la majeur (1896), en sol majeur (1897)
Sérénade en sol mineur pour orchestre à cordes (1891)
"Bylina", ouverture (vers 1892)
Musique de scène pour le Tsar Boris (1898)
Vocales
"L'année 1812", opéra inachevé (1899/1900)
Œuvres pour chœur
Lieder
Pièces pour piano
Discographie non exhaustive (au 11/06/2020)
Symphonie n°1 en sol mineur : Orchestre symphonique philharmonique de Moscou, dir. Kirill Kondrachine (1960, Melodya ; complément : Balakirev)
Symphonies n°1 en sol mineur + Symphonie n°2 en la majeur + Intermezzi 1 et 2 + Sérénade pour cordes + Les Nymphes, poème symphonique + Suite pour orchestre + Le Cèdre et le Palmier, poème symphonique + Bylina pour orchestre : Orchestre symphonique d'URSS, dir. Evgueny Svetlanov (1968/75/90 Melodya)
Symphonie n°1 en sol mineur + Symphonie n°2 en la majeur + Le Cèdre et le Palmier, poème symphonique + Le Tsar Boris, ouverture - Scottish National Orchestra, dir. Neeme Järvi (1988/89, Chandos, compléments : Glazounov)
Tsar Boris, musique de scène + Poème Epique + Le Cèdre et le Palmier, poème symphonique + Les Nymphes, poème symphonique - Orchestre symphonique de Budapest, dir. Antal Jancsovics (1987/88, Marco Polo)
Lettre à Krouglikov (CD "La Satire musicale russe") - Sergueï Yakovenko, Ilya Scheps (1992, Chant du Monde ; compléments : Chostakovitch, Dargomijski, Moussorgski…)