С 1859 года был на службе в Министерстве иностранных дел: переводчиком 8-го класса в Азиатском департаменте, затем чиновник особых поручений, с 1860 г. — управляющий консульством, затем консул в Битоли. С 1864 года — младший секретарь миссии в Константинополе, с 1868 года — дипломатический чиновник Министерства иностранных дел при Новороссийском и Бессарабском генерал-губернаторе в звании камер-юнкера. В 1871—1876 гг. — генеральный консул в Константинополе, после чего был назначен в распоряжение главнокомандующего армией великого князя Николая Николаевича Старшего для ведения дипломатической переписки.
В начале 1878 года был произведён в действительные статские советники и назначен генеральным консулом в Салониках с откомандированием к действующей армии для исполнения обязанностей директора дипломатической канцелярии главнокомандующего великого князя Николая Николаевича Старшего[1].
По окончании военных действий — комиссар международной комиссии по делам Болгарии, с 1881 года — дипломатический агент и генеральный консул в Болгарии, с 1883 года — на такой же должности в Египте (в звании камергера). С 1886 года — чрезвычайный посланник и полномочный министр при румынском короле Карле; пожалован чином гофмейстера.
С 1891 года — посланник в Португалии. В 1893—1896 гг. — посланник в Японии[2]. Ему удалось образовать на Дальнем Востоке союз трёх держав: России, Франции и Германии, которые вмешательством своим воспрепятствовали Японии после победы над Китаем утвердиться на материке. Возвратившись в Россию, выступил горячим сторонником идеи русско-японского союза, но без успеха.
Близкий к Алексею Толстому, Хитрово писал много стихотворений, которые публиковались в различных периодических изданиях России. Эти стихотворения преимущественно посвящены борьбе славян за независимость и героям освободительной войны. Несколько стихотворений посвящены М. Д. Скобелеву, с которым Хитрово находился в дружеских отношениях. Сборник этих стихотворений выдержал два издания (СПб., 1892 и 1896). Кроме того большой популярностью пользовались небольшие юмористические и сатирические стихотворения Хитрово, посвящённые злобам дня петербургской жизни.
Елизавета (30.10.1870 — после 1918) — фрейлина, замужем с 25.1.1896 за Георгием Александровичем Мухановым (22.12.1870 — 30.11.1933), полковником[5][6];
Андрей (6.8.1872 — 24.3.1900) — лейтенант гвардейского экипажа, женат на княжне Елене Николаевне Голицыной (27.9.1867 — 7.4.1943, Ницца), дочери сенатора Николая Михайловича Голицына (1820—1885) и графини Марии Сергеевны Сумароковой (1830—1902);
Георгий (6.7.1875 — 15.7.1916) — выпускник Пажеского корпуса (1895), коллежский советник, женат с 6.7.1915 на Надежде Александровне Гриколевской (? — 26.2.1971, Париж), дочери Александра Владиславовича Гриколевского и Софии Францевны Рассели (1864—1932).
