Окончил 5 классов школы № 9 города Мичуринска. Работал слесарем на паровозоремонтном заводе в Мичуринске.
В Военно-Морском флоте служил с сентября 1941 года — замковым в артиллерийской части береговой обороны города Батуми.
В 1943 году направлен в город Поти в формирующуюся отдельную огнемётную роту.
В ноябре 1943 года в городе Осипенко (ныне Бердянск) роту влили в состав 384-го отдельного батальона морской пехоты — Медведев стал 2-м номером противотанкового ружья.
Во второй половине марта 1944 года вошёл в состав десантной группы под командованием старшего лейтенанта К. Ф. Ольшанского. Задачей десанта было отвлечение немецких сил и облегчение фронтального удара советских войск в ходе освобождения города Николаева, являвшегося частью Одесской операции. После высадки в морском порту Николаева отряд в течение двух суток отбил 18 атак противника, уничтожив около 700 гитлеровцев. В этих боях геройски погибли почти все десантники, а Н. Медведев был ранен и отправлен в госпиталь. За эти бои был удостоен звания Героя Советского Союза.
После лечения в госпитале вернулся в свой батальон морской пехоты, в котором воевал до весны 1945 года.
В ноябре 1945 года он демобилизовался.
Жил в городе Москве.
С июля 1947 года работал в лаборатории № 2 Академии наук СССР (в настоящее время Институт атомной энергии имени И. В. Курчатова) механиком экспериментальных стендов и установок.
Н. Я. Медведев автор книги мемуаров «Нас было 68…».
В Николаеве в сквере имени 68-ми десантников установлен памятник.
В посёлке Октябрьском на берегу Бугского лимана, откуда уходили на задание десантники, установлена мемориальная гранитная глыба с памятной надписью.
Награды и звания
Указом Президиума Верховного Совета СССР от 20 апреля1945 года за образцовое выполнение боевых заданий командования на фронте борьбы с немецкими захватчиками и проявленные при этом отвагу и геройство матросу Николаю Яковлевичу Медведеву было присвоено звание Героя Советского Союза с вручением ордена Ленина и медали «Золотая Звезда» (№ 5898).
Награждён орденами Отечественной войны 1-й и 2-й степеней и медалями, среди которых «Ветеран труда» и посвящённые юбилеям Победы и ВС СССР.