17 ноября 1889 года был назначен начальником Императорской охоты, занимал эту должность вплоть до революции. С 1913 состоял членом Совета Главного управления государственного коннозаводства.
Был лицом приближенным к Николаю II. В переписке императорской семьи его имя часто значится как «Димка».
После Октябрьской революции эмигрировал. Жил на острове Принкипо (Турция) в Мраморном море, похоронен на кладбище местной православной церкви. По отзыву А. А. Половцева, был человек крайне скромный, застенчивый, утонченных форм вежливости в обращении[1].
Жена (с 15.01.1882) — графиня Екатерина Владимировна Мусина-Пушкина (24.11.1861[2]—1944), дочь графа Владимира Ивановича Мусина-Пушкина от брака с Варварой Алексеевной Шереметевой; сестра Владимира Мусина-Пушкина. Родилась в Петербурге, крещена 3 декабря 1861 года в Симеоновской церкви при восприемстве графа А. И. Мусина-Пушкина и бабушки Е. С. Шереметевой, в честь которой и получила свое имя. Была первой девицей, сдававшей студенческие экзамены при Московском университете; с 1881 года фрейлина двора. Венчалась с князем Голицыным в Москве в церкви на Шереметевом дворе. Одевали и причесывали её в доме Шереметевых, где по обычаю собирали всех невест рода Шереметевых. По словам современницы, была очень красива, скорее худощава, но небольшого роста. Потом она очень растолстела, но всегда оставалась прелестной и женственной[3]. За заслуги мужа 30 мая 1912 года была пожалована в кавалерственные дамыордена Святой Екатерины (меньшого креста). Скончалась в эмиграции в Париже. Дети:
Борис (24.01.1892, Гатчина[4] — 1919, Царицын) — крестник графа В. В. Левашова и А. А. Шереметевой; корнет лейб-гвардии Гусарского полка, участник Белого движения, убит в бою под Царицыным.
Евдокия (07.12.1893, Гатчина[4] — 1964, Иерусалим) — крестница императрицы Марии Фёдоровны и С. А. Шереметева; в 1914—1916 годах сестра милосердия.
Владимир (07.06.1902, Гатчина[6] — 1990, Мёдон) — крестник императрицы Марии Фёдоровны и великого князя Михаила Александровича, с 1926 года был женат на своей кузине графине Елизавете Владимировне Мусиной-Пушкиной (1904—1979), дочери графа В. В. Мусина-Пушкина.