В ноябре 1929 года Иванов пошёл на службу в органы государственной безопасности СССР. Начинал службу помощником уполномоченного Мордовского областного отдела ОГПУ. Позднее служил в различных территориальных подразделениях НКВД СССР. В августе 1938 года Иванов был переведён на работу в Москву, в центральный аппарат НКВД СССР, был заместителем начальника 1-го отделения 7-го отдела 1-го Управления НКВД СССР, затем заместителем начальника, начальником отделения Главного экономического управления НКВД СССР. В 1939—1941 годах служил начальником отделения, заместителем начальника Управления НКГБ СССР по Чкаловской области[3].
С августа 1941 года Иванов вновь на работе в Москве, руководил 1-м отделом Экономического управления НКВД СССР. В мае 1943 — январе 1944 годов он служил народным комиссаром государственной безопасности Коми АССР, затем с января 1944 по апрель 1945 годов руководил Управлением НКГБ СССР по Мурманской области. С апреля 1945 года Иванов был народным комиссаром, министром государственной безопасности Киргизской ССР. Избирался депутатом Верховного Совета СССР 2-го созыва[3].
В январе 1947 года Иванов вновь вернулся к работе в центральном аппарате МГБ СССР, был начальником отдела «Т» Министерства. С июня того же года он работал заместителем председателя Бюро по выездам за границу и въездам в СССР при Совете Министров СССР, заместителем председателя Комиссии по выездам за границу при ЦК ВКП(б), членом Комиссии Президиума Верховного Совета СССР по рассмотрению вопросов приёма, выхода и лишения гражданства[3].
С октября 1958 года Иванов руководил Инспекцией при Министерстве государственной безопасности СССР, затем отделом «К» этого же Министерства. В 1953—1954 годах служил начальником отдела, заместителем начальника 5-го Управления, начальником 10-го специального отдела в системе Министерства внутренних дел СССР. С марта 1954 года возглавлял 1-й специальный отдел Комитета государственной безопасности СССР, Чекистский кабинет КГБ. 18 февраля1958 года ему было присвоено звание генерал-майора государственной безопасности[3].