Завршио је основну школу, након чега се даље није образовао. Од 1909. до 1915. радио је као кројачки помоћник и физички радник. Јежов за разлику од већине бољшевика није био јеврејског порекла, али је био ожењен пољском Јеврејком.[1] Након тога је служио у руској царској армији до маја 1917. године, када се придружио бољшевицима. Током грађанског рата био је борац Црвене армије. После рата је радио на разним партијским функцијама, а 1934. је постао члан Централног комитета Свесавезне комунистичке партије (бољшевика).[2]
Био је директор НКВД-а, совјетске тајне полиције од 1936. до 1938. године. Његов је мандат био обележен врхунцем Велике чистке, чији је био главни проводилац и при томе показао такву безобзирност да се тај период совјетске историје по њему назива јежовшчина. Упркос фанатичној оданости Стаљину, његова активност је попримила стихијски карактер у таквој мери да је и сам Стаљин закључио да од ње има више штете него користи.
Године 1938. је смењен, а следеће године, слично као и његов претходник Генрих Јагода, 1939. осуђен је за издају те погубљен 1940. године. Јежов, који је и због приватног живота обележеног развратом и садистичким испадима, створио репутацију једног од најомраженијих совјетских политичара, након тога је постао предметом једне од најпознатијих кампања damnatio memoriae, добивши међу историчарима уметности надимак „Нестали комесар“ и један од најпознатијих примера не-личности у аутократским и тоталитарним режимима.[3]
