Народився в родині сільських учителів. З 1918 року — в комсомолі, був секретарем повітової комсомольського осередку і бійцем добровольчого партійно-комсомольського червоногвардійського загону. У роки громадянської війни намагався вступити в Червону армію, на початку 1919 року був зарахований в авіаційний дивізіон Південного фронту, але через кілька днів важко захворів і був залишений у батьків. Тоді ж склав екстерном іспит за шкільний курс і отримав свідоцтво про закінчення школи 2-го ступеня.
У квітні 1919 року став бійцем Червоної армії. Після успішного закінчення в 1920 році Саратовських піхотно-кулеметних курсів в 1920 році був призначений командиром стрілецького взводу, потім стрілецької півроти в складі 28-ї стрілецької дивізії імені Азіна. У лавах 11-ї армії воював на Південному фронті, брав участь в окупації червоними військами Азербайджану, в радянсько-грузинській війні 1921 року. У 1921 році переведений на Далекий Схід і призначений командиром стрілецького батальйону в 3-м Верхньоудінському полку 1-ї Тихоокеанської дивізії Народно-революційної армії Далекосхідної республіки. Брав участь у штурмі Спаська, захопленні Нікольська-Усурійського та Владивостока в 1922 році.
Після закінчення громадянської війни Крилов залишився служити в Червоній армії на Далекому Сході. З 1922 року — командир 3-го батальйону 1-ї Забайкальської (1-ї Тихоокеанської) дивізії Далекосхідного фронту, з 1923 по червень 1927 року — помічник начальника штабу полку 1-ї Тихоокеанської дивізії, потім в оперативному відділенні штабу дивізії.
У 1927—1928 роках навчався на вищих курсах удосконалення командного складу РСЧА «Постріл».
У 1929—1931 роках — начальник штабу стрілецького полку 1-ї Тихоокеанської дивізії. З 1931 по листопад 1936 року — на командних і штабних посадах: командир батальйону Благовіщенського укріпрайону, начальник штабу 1-ї моторизованої протитанкової артилерійської бригади, начальник штабу стрілецького полку 1-ї Тихоокеанської дивізії, командир стрілецького полку, потім в оперативному відділі штабу 1-ї Тихоокеанської дивізії і в укріпленому районі на Далекому Сході. У 1936—1938 роках — начальник штабу Благовіщенського укріпрайону. Учасник боїв на озері Хасан.
У 1938—1939 роках — командир окремої бригади Особливої Червонопрапорної Далекосхідної армії.
У 1939—1940 роках — начальник відділу ОСОАВІАХІМу в Ставрополі.
З літа 1940 по липень 1941 року — начальник штабу Дунайського укріпленого району на південній ділянці радянсько-румунського кордону в Одеському військовому окрузі.
У липні — серпні 1941 року — начальник оперативного відділу Приморської армії; з серпня 1941 по вересень 1942 року — начальник штабу Приморської армії в Криму, начальник штабу Севастопольського оборонного району. Учасник оборони Одеси і Севастополя. Був важко поранений 8 січня 1942 року. З вересня 1942 по березень 1943 року — начальник штабу 62-ї армії. Учасник оборони Сталінграда. З квітня по травень 1943 року — начальник штабу 8-ї гвардійської армії. Брав участь у прориві блокади Ленінграда на Синявському напрямку.
З травня по липень 1943 року — командувач 3-ї резервної армії, з липня по жовтень 1943 року — командувач 21-ї армії. Командував військами в районі Єльні і Дорогобуж, здійснював прорив сильно укріпленої оборони противника в Смоленській наступальної операції, форсував річки Десна і Сож. З жовтня 1943 по жовтень 1944 року і з грудня 1944 по вересень 1945 року — командувач 5-ї армії. У жовтні — грудні 1944 року перебував на лікуванні в госпіталі.
За роки війни воював на Південному, Північно-Кавказькому, Сталінградському, Донському, Південно-Західному, Західному, 3-му Білоруському і 1-му Далекосхідному фронтах. Брав участь у бойових діях у Білорусії, Литві, Східній Прусії та Маньчжурії.
Указом Президії Верховної Ради СРСР від 19 квітня 1945 року за особисту мужність і вміле керівництво військами армії в період Білоруської наступальної операції, генерал-полковнику Крилову Миколі Івановичу присвоєно звання Героя Радянського Союзу з врученням ордена Леніна і медалі «Золота Зірка» (№ 7111).
Указом Президії Верховної Ради СРСР від 8 вересня 1945 року за розгром великого угруповання японських військ на території Маньчжурії та проявлені при цьому особисту відвагу і мужність, генерал-полковник Крилов Микола Іванович удостоєний другої медалі «Золота Зірка» (№ 4309).
У вересні — листопаді 1945 командував 15-ю армією. З листопада 1945 по січень 1947 року — заступник командувача Приморського військового округу, з січня 1947 по квітень 1953 року — командувач військ Далекосхідного військового округу.
У квітні — вересні 1953 року — командувач армії, з вересня 1953 по січень 1956 року — 1-й заступник командувача Далекосхідного військового округу.
З січня 1956 по листопад 1957 року — командувач військ Уральського військового округу.
З листопада 1957 по 26 жовтня 1960 року — командувач військ Ленінградського військового округу.
З жовтня 1960 по березень 1963 року — командувач військ Московського військового округу.
З 5 березня 1963 по 9 лютого 1972 року — головнокомандувач Ракетних військ стратегічного призначення (РВСП) — заступник міністра оборони СРСР.