Nekazari familia batean jaio zen eta metalaren industrian lan egin zuen San Petersburgon. 1898an, Errusiar Laneko Alderdi Sozialdemokratarekin bat egin zuen. Garai hartan ezagutu zuen Stalin. 1905eko Errusiar Iraultzan parte hartu zuen. Leninek zuzendutako fakzio boltxebikeko lehen kideetako bat izan zen.
Jakov Sverdlov hil zenean, Kalininek ordezkatu zuen Sobieten Komite Exekutibo Zentraleko presidentetzan. Kargua Sobietar Batasuneko estatuburuaren baliokidea zen. Karguak bi aldiz aldatu zuen izena: 1922an, Sobietar Batasuneko Batzorde Exekutibo Zentraleko presidente eta 1938an Sobiet Goreneko Presidiumaren presidente.
Stalinekin zuen adiskidetasuna eta betetzen zuen kargua gorabehera, eragin eta botere gutxi izan zuen. 1940an, Stalin, Molotov, Lazar Kaganovitx, Kliment Voroxilov eta Anastas Mikoyanekin batera, 25.700 preso poloniarren exekuzio agindua sinatu zuen. Ez zen gai izan Ekaterina Kalinina emaztea babesteko, 1938 eta 1946 artean kartzelan egon baitzen.