Syn żydowskiego właściciela sklepu spożywczego, ukończył 4 klasy szkoły miejskiej, po czym pracował jako buchalter w magazynie.
W 1912 wstąpił do Partii Socjalistów-Rewolucjonistów, w latach 1914–1915 był członkiem Komitetu Homelskiego eserowców. W kwietniu 1915 był aresztowany i zesłany do guberni jenisejskiej. Tam poznał niektórych liderów partii bolszewickiej, m.in. Stalina i Kamieniewa.
Od maja 1919 razem z Mienżyńskim, Łanderem, Artuzowem i Feldmanem dodatkowo pełnił służbę jako specjalny pełnomocnik WCzK. Od 1920 do 1921 był zastępcą szefa Zarządu Wydziału Specjalnego WCzK (kontrwywiad wojskowy), jako szef grup operacyjnych wyjeżdżał na Front Zachodni i do Kronsztadu.
Od stycznia 1921 był szefem 16 Oddziału Specjalnego WCzK (kontrwywiad w armii), od kwietnia 1921 specjalnym pełnomocnikiem do najważniejszych spraw przy szefie Tajnego Zarządu Operacyjnego (SOU) WCzK-GPU, szefem Specjalnego Biura do spraw zsyłek administracyjnych elementów antyradzieckich i inteligencji przy Tajnym Zarządzie Administracyjnym GPU. W latach 1923–1929 był zastępcą szefa, a od października 1929 – szefem Zarządu Tajnego (od marca 1931 Tajnego Zarządu Politycznego) Wydziału OGPU. Od maja 1930 był zastępcą szefa Tajnego Zarządu Operacyjnego (SOU) OGPU. Z racji pełnionych funkcji był w bliskich stosunkach ze znanymi pisarzami i artystami, m.in. z Władimirem Majakowskim, Borisem Pilniakiem i Leopoldem Awierbachem.
Po zakończeniu konfliktu w kierownictwie OGPU (pomiędzy Messingiem, Jewdokimowem, Woroncowem, Olskim i Wielskim a Jagodą, wspieranym przez Mienżyńskiego) 31 lipca 1931 wszedł w skład Kolegium OGPU. We wrześniu 1931 został wyznaczony pełnomocnym przedstawicielem OGPU w obwodzie moskiewskim (zgodnie z pismem Kaganowicza do Stalina Mienżyński wspólnie z Akułowem i Walickim byli temu przeciwni, uważając Agranowa za niezastąpionego w Tajnym Wydziale Politycznym; Mienżyński proponował kandydaturę Mancewa, której był przeciwny Kaganowicz, popierający Agranowa). W latach 1931–1932 był jednocześnie szefem Specjalnego Wydziału Moskiewskiego Okręgu Wojskowego.
W grudniu 1934 prowadził śledztwo w sprawie zabójstwa Siergieja Kirowa, został szefem Zarządu NKWD obwodu leningradzkiego. W praktyce kierował pracą wszystkich organów operacyjnych Głównego Zarządu Bezpieczeństwa Państwowego (GUGB). W 1936 wraz z Jagodą i Berią organizował procespokazowyZinowjewa i Kamieniewa. Od grudnia 1936 był szefem GUGB, brał udział w przygotowywaniu II procesu moskiewskiego. 15 kwietnia 1937 zdegradowany ze stanowiska zastępcy ludowego komisarza spraw wewnętrznych do stanowiska szefa 4 Wydziału GUGB. 20 lipca 1937 został aresztowany, następnie skazany na śmierć przez Kolegium Wojskowe Sądu Najwyższego ZSRR 1 sierpnia 1938 i stracony tego samego dnia w miejscu egzekucji Kommunarka pod Moskwą, tam też pochowany anonimowo.
.svg){kind=small}
