Истоки института берут своё начало в Нижегородской радиолаборатории, существовавшей в 1918—1928 годах. На её основе был создан Горьковский исследовательский физико-технический институт (ГИФТИ) при Горьковском государственном университете, в котором в 1931 году А. А. Андронов организовал теоретический отдел. Этот отдел в военные годы тесно сотрудничал с радиотехнической промышленностью. В 1945 году по инициативе в том числе работников этого отдела в университете был организован первый в СССР радиофизический факультет. Именно этот факультет и стал основой для образования Научно-исследовательского радиофизического института (НИРФИ) в 1956 году.
Соответствующее постановление было выпущено Советом министров СССР 27 июня 1956 года под № 871—478, а 10 июля министром высшего образования СССР был издан приказ об организации института. Целью создания института было проведение прикладных и фундаментальных исследований в сфере радиотехники, радиоастрономии и радиофизики. Основой научного коллектива стали уже известные в то время физики: М. Т. Грехова (главный инициатор создания института и его первый директор до 1972), В. Л. Гинзбург, В. С. Троицкий, И. Л. Берштейн, М. М. Кобрин, а также выпускники радиофизического факультета Горьковского университета: А. В. Гапонов-Грехов, Г. Г. Гетманцев, Б. Н. Гершман, Н. Г. Денисов, В. А. Зверев, М. А. Миллер.
Радиотелескоп РТ-15-1 астрономической станции «Зимёнки» ФГНУ НИРФИ (май 2006). В настоящее время демонтирован (по всей видимости, сдан на металлолом).
Расположился институт в здании бывшего Горьковского суворовского училища по улице Лядова (ныне — Большая Печёрская). Для наблюдения радиоизлучения Солнца институту был также передана загородная лаборатория «Зимёнки», созданная в 1949 году в составе ГИФТИ.
В НИРФИ в 1950-х—1960-х годах окончательно сформировалась имевшая широкую известность, в том числе и в мире, Горьковская радиофизическая школа. Успехи этой школы, в частности, были отмечены в 1969 году орденом Трудового Красного Знамени, вручённым институту.
К середине 1970-х годов НИРФИ представлял собой один из ведущих институтов СССР, ведущих фундаментальные и прикладные работы, и в 1976 году Совет министров СССР принял предложение Академии наук организовать в Горьком академический институт на основе нескольких отделов НИРФИ. Так появился Институт прикладной физики АН СССР с А. В. Гапоновым-Греховым во главе. В новый институт вошли 10 отделов, 4 лаборатории и 1 сектор НИРФИ, в общей сложности — 620 человек.
По инициативе Г. Г. Гетманцева в 1976—1980-х годах был сооружён единственный в мире среднеширотный стенд, предназначенный для воздействия на ионосферу Земли. Стенд, расположившийся на полигоне «Васильсурск», получил название СУРА. Стенд был сдан Государственной комиссии в марте 1981 года.
В 1980 году директором института стал В. А. Разин. В 1990 году его сменил С. В. Поляков. С 2000 по 2019 год институт возглавлял С. Д. Снегирёв, в 2019—2020 году его сменил на этом посту С. В. Оболенский. С 2021 года директором стал А. В. Шиндин.
