W latach 1921–1926 pracował na stanowiskach partyjnych i w radach. Po ukończeniu Instytutu Czerwonej Profesury w 1930 kierownik Wydziału Wydawnictw Komitetu Centralnego WKP(b), jednocześnie członek kolegium redakcyjnego gazety Prawda.
Dalej członek Rad Wojennych szeregu armii i frontów. W latach 1946–1950 minister Kontroli Państwowej ZSRR. Na 17 zjeździe WKP(b) wybrany na zastępcę członka Komitetu Centralnego, a na 18 i 19 zjazdach członkiem KC. W latach 1938–1952 członek Biura Organizacyjnego KC WKP(b).
Nazywany „Ponurym Demonem”, był jednym z najbardziej znienawidzonych ludzi w Armii Czerwonej[2]. Wyróżniał się skrajną nadgorliwością; jako szef Głównego Zarządu Politycznego od grudnia 1939 objeździł Syberię, wydając masowe wyroki śmierci na oficerów i komisarzy[3]. Gdy po ataku Niemiec na ZSRR żołnierze Wehrmachtu używali „żywych tarcz” z cywilnych mieszkańców ZSRR, Mechlis rozkazał Armii Czerwonej mordować cywilów seriami z karabinów maszynowych[3].
