Однако после окончания школы был направлен на службу из РККА в пограничные войскаОГПУ СССР в сентябре 1926 года. Сначала был командиром взвода 26-го Одесского пограничного отряда войск ОГПУ. С ноября 1926 служил в рядах 24-го Могилёв-Подольского пограничного отряда войск ОГПУ-НКВД СССР: помощник начальника пограничной заставы; с января 1930 — начальник пограничной заставы; с декабря 1931 — уполномоченный управления пограничной комендатуры; с декабря 1932 — помощник коменданта пограничного участка по оперативной части; с февраля 1933 года — комендант пограничного участка.
В ноябре 1933 — мае 1935 — слушатель Высшей пограничной школы ОГПУ (с 1934 — НКВД СССР) в Москве. С 7 мая 1935 года служил инструктором оперативного отдела Управления пограничных войск НКВД Украинской ССР. С 4 июля 1937 года — начальник отделения штаба 24-го Могилёв-Подольского пограничного отряда. В октябре направлен учиться в академию.
В марте 1939 года окончил Военную академию РККА имени М. В. Фрунзе. По выпуску с группой других выпускников был направлен на высокие руководящие должности в центральный аппарат НКВД СССР на смену репрессированным кадрам времён Н. И. Ежова (таким же образом в НКВД оказался однокурсник И. С. Любого И. А. Серов). С 8 марта 1939 года — начальник Главного военно-строительного управления НКВД СССР. С 26 февраля по 31 мая 1941 года — начальник Строительного отдела НКВД СССР. Приказом НКВД СССР от 31 мая 1941 года был назначен на должность заместителя начальника Главного управления войск НКВД СССР по охране железнодорожных сооружений и особо важных предприятий промышленности.
В сентябре 1941 года вернулся к исполнению обязанностей по своей должности заместителя начальника Главного управления войск НКВД СССР по охране железнодорожных сооружений (с декабря 1941 года — по охране железных дорог) и особо важных предприятий промышленности. С 13 октября 1941 года одновременно — начальник Серпуховского сектора Московской зоны обороны, отвечая за быстрое сооружение оборонительных рубежей в условиях стремительного прорыва немецких танковых дивизий к Москве.
С февраля 1942 года — начальник Управления войск НКВД СССР по охране особо важных предприятий промышленности. Снят с должности приказом НКВД СССР № 391 от 8 июля 1942 года в связи с допущенным по личной вине И. С. Любого дорожно-транспортным происшествием: 11 июня 1942 года, находясь за рулём автомобиля, совершил наезд на пешехода. В тот же день назначен с понижением начальником Управления пограничных войск НКВД Западно-Сибирского округа.
С 3 января 1943 года до конца войны — начальник Управления войск НКВД по охране тыла Западного фронта, а с 24 апреля 1944 года — на той же должности на 3-м Белорусском фронте. Одновременно с 11 января по 4 июля 1945 года — заместитель Уполномоченного НКВД СССР по 3-му Белорусскому фронту. Участвовал в боях за Восточную Пруссию и штурме Кёнигсберга. В ходе Восточно-Прусской операции под его руководством, в частности, войсками НКВД СССР были произведены зачистки территории Восточной Пруссии, в том числе Кёнигсберга (11 — 19 апреля 1945 года) от остатков разбитых гитлеровских войск, диверсионно-разведывательных групп противника, и всевозможных бандгрупп.
Затем был подключен к созданию атомного вооружения СССР, будучи 12 апреля 1950 года назначен начальником Главного управления по разведке и эксплуатации месторождений и строительству предприятий цветных и редких металлов в Красноярском крае МВД СССР («Енисейстрой») и одновременно — начальником Восточно-Свинцового управления и ИТЛ Енисейстроя МВД СССР. Руководил возведением спецобъектов Горно-химического комбината в Красноярске-26 (ныне г. Железногорск, Красноярский край). С 25 января 1952 по ноябрь 1953 года — начальник Управления строительства № 601 («Химстрой» — Управление по строительству Сибирского химического комбината) и Исправительно-трудового лагеря (город СеверскТомской области) Главного управления лагерей промышленного строительства МВД СССР. В условиях кадровой чистки в спецслужбах СССР, последовавшей после смерти И. С. Сталина и ареста Л. П. Берия, с ноября 1953 года находился без назначения.
Однако в конечном итоге ему удалось доказать свою непричастность к действиям Берия, и в начале 1954 года был назначен начальником Управления строительства № 585 и одновременно — начальником военно-строительных частей МВД СССР. С 10 июля 1954 года — начальник Белогорского исправительно-трудового лагеря (посёлок ШаткиАрзамасского районаГорьковской области) ГУЛАГа МВД СССР, которые строили объекты атомной отрасли СССР в городе Арзамас-16. С 1960 года — начальник Управления строительства в Обнинске; руководил возведением специальных производственных объектов Физико-энергетического института.
