В 1795 году женился на княжне Марии Антоновне Четвертинской; 6 августа 1798 года был сделан гофмейстером, а 27 февраля 1804 года — обер-егермейстером. В 1812-м году Нарышкин обязался выплачивать ежегодно по 20000 рублей на нужды правительства, пока неприятель находится в пределах России. На связь жены с императором (от которой регулярно рождались дети) подчёркнуто старался не обращать внимания.
Подобно брату своему Александру Львовичу, он вел шумный и рассеянный образ жизни, и весь знатный Петербург можно было встретить на его блестящих приемах. Расположение императора Александра I к Нарышкину выразилось, между прочим, в пожаловании ему обширных земель в Тамбовской губернии.
Д. Л. Нарышкин до старости сохранил привычки и манеры придворного времен Екатерины. Ф. Ф. Вигель так говорит о нём: «он принадлежал к небольшому остатку придворных вельмож старого времени, со всеми был непринужденно учтив, благороден сердцем и манерами, но сластолюбив, роскошен, расточителен, при уме и характере не весьма твердом».
У Марии Антоновны было шестеро детей, из которых трое скончались в младенческом возрасте, все они официально считались детьми Дмитрия Львовича Нарышкина. Общепринятым является мнение, что отцом пятерых младших детей был император Александр I.
Марина Дмитриевна (1798—11.08.1871), по сообщениям современников, её единственную Нарышкин считал своим ребёнком; в замужестве за графом Н. Д. Гурьевым (1792—1849).
Незаконная дочь Нарышкина — Надежда Дмитриевна (22.02.1818[16]— ?), была замужем (с 11 ноября 1834 года)[17] за
графом Валерианом Людвиговичем Люксембургом (17.04.1809— ?), поручиком лейб-гвардии Гусарского полка и городничим города Торопца. По словам С. А. Юрьевича, графиня Люксембург была «belles femmes», «миниатюрное личико на исполинском пьедестале и чересчур занимающаяся своими позами»[18]. В браке имела четырёх сыновей — Владислава, Николая (04.12.1838[19]—после 1868; крестник императора Николая I), Эмануила и Владимира (24.10.1846[20]—18.05.1897[21]; крестник императора Николая I), и четырёх дочерей — Ангелику (1835—11.06.1909), Надежду (1841—13.06.1900; в замужестве Грахова), Александру и Марию.
↑Федорченко В. И. Императорский Дом. Выдающиеся сановники. Энциклопедия биографий. — Красноярск: «БОНУС», 2003. — Т. 2. — С. 101—102. — 640 с. — ISBN 5-7867-0051-8.
↑Карабанов П. Ф. Списки замечательных лиц русских / [Доп.: П. В. Долгоруков]. — М.: Унив. тип., 1860. — 112 с. — (Из 1-й кн. «Чтений в О-ве истории и древностей рос. при Моск. ун-те. 1860»)