Первоначальное образование получил дома, затем воспитывался в Пажеском корпусе, однако курса не окончил. В 1858 году поступил на службу в Первое отделение Собственной Е. И. В. канцелярии. В следующем году был переведен в Министерство иностранных дел. В 1860 году был определен в императорскую миссию в Берлине, а в 1861 году — переведен в посольство в Париже. Затем состоял прикомандированным к канцелярии иностранных дел сверх штата (1863—1867) и в ведомстве Министерства иностранных дел без содержания (1867—1883). Дослужился до чина коллежского советника (1881).
Крупный землевладелец (63400 десятин), владел двумя сахарными заводами в Черниговской губернии. Входил в правление Русско-бельгийского общества производства состава Фавье и химических продуктов. Состоял членом, а с 1899 года — почетным членом Совета торговли и мануфактур Министерства финансов, членом Особого совещания о нуждах сельскохозяйственной промышленности (1902—1905) и Особого комитета по делам земельного кредита (с 1904). Кроме того, состоял пожизненным почетным членом Сергиевского общества хоругвеносцев в Богородске Московской губернии (с 1895), членом Совета Санкт-Петербургского центрального училища рисования барона Штиглица (с 1901), действительным членом Вольно-экономического общества (с 1887), Общества ревнителей русского исторического просвещения (с 1897), Российского общества плодоводства, а также Яхт-клуба в Санкт-Петербурге.
6 мая 1905 года назначен членом Государственного совета, с оставлением в чине обер-гофмаршала. Входил в Кружок внепартийного объединения.
Жена (с 7 апреля 1868 года) — графиня Ольга Петровна Шувалова (04.08.1848[4]—21.09.1927[5]), дочь Петра Павловича Шувалова от его брака с Софьей Львовной Нарышкиной. Родилась в Петербурге, крещена 28 августа 1848 года в церкви Иоанна-Предтеча при Каменноостровском дворце при восприемстве графа А. П. Шувалова и бабушки Ольги Нарышкиной. Будучи фрейлиной двора (с 31.03.1868), вышла замуж за князя Долгорукова. Благодаря этому браку он стал одним из самых богатых землевладельцев России[6]. Занимала высокое положение при дворе, была пожалована в кавалерственные дамы ордена Святой Екатерины (меньшого креста) (18.05.1896), а позднее в статс-дамы двора (1912). Последняя владелица имения Мисхор, откуда в апреле 1919 года вместе с внучкой Софьей была эвакуирована на английском крейсере «Мальборо» на Мальту. Позже проживала в Англии и во Франции, умерла в Версале. Похоронена на Новом кладбище в Нёйи[фр.], под Парижем. Дети:
Ольга (1873—1946), фрейлина, вышла замуж (15 июля 1892 года) в Баден-Бадене стала женой австрийского князя Гуго фон Дитрихштейна (старший сын министра иностранных дел графа Менсдорф-Пули, который приходился двоюродным братом королеве Виктории).
Пётр (10.06.1883—1925) — в 1903—1911 женат на Софье Алексеевне Бобринской, после развода женат вторым браком, с 1917 г.[8], на Анне Леонтьевне Михайловой (1888—1968).
Маргарита (10.06.1883[9]—13.03.1884), близнец с братом, крещена вместе с ним 22 июня 1883 года в Исаакиевском соборе, умерла от воспаления легких.
Варвара (07.12.1885—1980) — 27 апреля 1908 года в Петербурге вышла замуж за Николая Васильевича Кочубея (1885—после 1931), внука сенатора А. В. Кочубея.