С 1968 по 1970 проходил срочную службу в рядах Советской армии. Окончил 86-ю военную школу младших специалистов караульной службы Ленинградской военно-морской базы Балтийского флота (город Кингисепп). Служил в школе на должности заместителя командира взвода. Демобилизован в звании главного старшины.
С 1970 на службе в органах внутренних дел. С 1970 по 1972 — инспектор уголовного розыска Отдела внутренних дел Вязниковского горисполкома Владимирской области. С 1972 по 1973 — инспектор отдела БХСС ОВД Вязниковского горисполкома. С 1973 по 1975 — начальник Мстёрского поселкового отделения милиции. С 1975 по 1977 — заместитель начальника Ленинского РОВД УВД города Владимира.
С 1977 по 1980 — начальник Ленинского РОВД УВД города Владимира.
С 1980 по 1981 находился в долгосрочной служебной командировке в Афганистане, где проходил службу на должности заместителя по разведке командира спецподразделения «Кобальт» МВД СССР, выполнял боевые задачи в провинциях Фарах и Нимроз.
С 1985 по 1986 — заместитель начальника, с 1986 по 1989 — начальник управления уголовного розыска УВД Владимирской области. С 1989 по 1993 — заместитель начальника УВД Владимирской области.
С 1993 по 1995 — начальник Управления внутренних дел по Владимирской области.
Указом Президента Российской Федерации от 14 октября 2000 за мужество и героизм, проявленные в ходе контртеррористической операции на Северном Кавказе генерал-полковнику милиции Ивану Ивановичу Голубеву присвоено звание Героя Российской Федерации с вручением медали «Золотая Звезда».
Умер 20 декабря 2003 в Москве после тяжелой и продолжительной болезни. Похоронен с воинскими почестями на Троекуровском кладбище (участок 2).
Во Мстёре в честь И. И. Голубева названа средняя школа (2014), на здании Мстёрского отделения полиции установлена мемориальная доска, так же именем Голубева названа улица.
На Аллее Героев в городе Вязники установлена звезда И. И. Голубева (2004), и именем Голубева названа улица.
На здании УМВД России по Владимирской области, на здании отделения полиции № 1 Управления МВД России по городу Владимиру (2004) установлены мемориальные доски скульптора Ильи Шанина, а на территории центра профессиональной подготовки УМВД России по Владимирской области в микрорайоне Юрьевец — памятник работы скульптора Ильи Шанина.
Так же памятник установлен в селе Троице-Татарово Вязниковского района Владимирской области[1].
В Нижнем Новгороде проводится ежегодная спартакиада по самбо Приволжского федерального округа на призы Героя Российской Федерации генерала И. И. Голубева, а во Владимире — Всероссийский турнир по дзюдо, посвященный памяти И. И. Голубева[2].
.svg){kind=icon}
