После домашнего воспитания 27 августа 1817 года начал военную службу подпрапорщиком в лейб-гвардии Гренадерском полку; был произведён в прапорщики 5 декабря 1819 года. В 1821 году переведён в лейб-гвардии Преображенский полк; 28 февраля 1824 года был назначен бригадным и затем старшим адъютантом гвардейской дивизии, а 10 апреля 1826 года назначен адъютантом к великому князю Михаилу Павловичу.
В 1852 году был назначен на должность попечителя Санкт-Петербургских военно-сухопутных госпиталей. Когда во время восточной войны 1853—1856 гг. ввиду опасности, грозившей от союзного флота Петербург был разделен на несколько отделов, вверенных временным военным губернаторам, Толстой был назначен генерал-губернатором Санкт-Петербургской стороны. Затем в 1856 году он был назначен директором Николаевской Чесменской богадельни и членом Александровского комитета о раненых.
17 апреля 1860 года произведён в генералы от инфантерии. Когда весною 1862 года в Петербурге из-за частых пожаров от поджогов было введено временное особое управление столицей с разделением по образцу 1856 года, Толстой был назначен временным военным-губернатором 2-го отдела (с 11 июня 1862 года и по 16 января 1863).
Николай Матвеевич Толстой скончался 25 декабря 1879 года и был похоронен у церкви Святого Иоанна Предтечи в Чесменской военной богадельне.
Жена (с 9 апреля 1828 года)[2] — Екатерина Алексеевна Хитрово (09.08.1805[3]—1851), родилась в Петербурге, крещена 12 августа 1805 года в Вознесенской церкви при восприемстве княгини А. М. Прозоровской; фрейлина двора, дочь Алексея Захаровича Хитрово. Венчались в Петербурге в церкви Св. Архистратига Михаила в Михайловском дворце. По отзывам Д. Фикельмон, была женщиной «бесконечно милой и доброй»[4]. Умерла в октябре 1851 года в Москве и была похоронена в Донском монастыре. В браке имела детей: