Родился в 1903 году в семье графа Петра Сергеевича Шереметева (1876—1914) и Елены Феофиловны (урождённой баронессы Мейендорф; 1881—1966). Детство провёл в Шереметьевском дворце в Санкт-Петербурге. Получил домашнее образование; одним из его учителей был поэт Николай Гумилёв, который преподавал ему ассирийский язык. Поскольку отец Николая увлекался музыкой, во дворце был собственный оркестр, мальчика начали учить игре на скрипке ещё в возрасте семи лет. Из семейной коллекции ему была подарена скрипка Амати, с которой он не расставался до конца жизни[1].
В 1919 году Николай Шереметев на репетиции спектакля «Принцесса Турандот» в театре Вахтангова познакомился с актрисой Цецилией Мансуровой (настоящее имя ― Цецилия Львовна Воллерштейн), которая исполняла главную роль в спектакле. Вскоре между ними возник роман, несмотря на разницу в возрасте и происхождении, а также то, что Мансурова уже была к тому моменту замужем. Несмотря на яростные возражения со стороны матери Николая они сочетались узами брака. Сам Шереметев, чтобы быть ближе к супруге, устроился в театр скрипачом[1].
В 1924 году из советской России уехали все члены семьи Николая. Сам он также раздумывал об эмиграции, но в конце концов решил остаться на родине[1]. Он продолжил работу в театре Вахтангова скрипачом и концертмейстером, сочинял музыку для различных спектаклей[2], а так же отдельные произведения для скрипки и фортепиано, например: «Забытый вальс»[3].
Шереметев неоднократно арестовывался сотрудниками ОГПУ, но каждый раз отпускался на свободу благодаря связям своей жены[1][4].
Погиб в 1944 году на охоте при не до конца выясненных обстоятельствах. Виновник его гибели не был найден. Цецилия тяжело переживала утрату супруга и больше никогда не вышла замуж. Вообще их история жизни сильно похожа на историю прапрадеда Николая и его полного тёзки Николая Петровича Шереметева, который женился на крепостной актрисе Прасковье Ивановне Жемчуговой[4].
Писательница А. В. Масс, соседка по дому, вспоминала о своём детстве:
«Мы, дети, его обожали. Когда он выходил из подъезда с двумя своими рыжими весёлыми сеттерами, мы сбегались к нему со всех концов двора. На наших глазах дяди Колин большой палец отделялся от руки, описывал круг в воздухе, а потом снова прирастал; проглоченный шарик каким-то чудом оказывался в кармане Мишки Рапопорта или в ухе Ани Горюновой.
Его и взрослые все любили. Он был красив, элегантен, прекрасно знал этикет, свободно говорил на нескольких языках. И в то же время был прост, отзывчив и доступен как истинный аристократ. Когда в театр приезжали иностранные гости, Николая Петровича выпускали вперёд. Театр гордился своим представителем. И одновременно немного над ним подтрунивал. Копил анекдотические истории о столкновениях графа с советской действительностью — наподобие случая в милиции или, например, в керосиновой лавке, когда продавец осадил его:
— Обождёшь! Не граф Шереметев!
В тридцатые годы театр получил в качестве дома отдыха бывший охотничий дом Шереметевых в Плёскове. Обслуживающий персонал, набранный из старых графских слуг, и жители окрестных деревень помнили „Николашу“ ещё ребёнком, и когда он впервые приехал в отпуск с женой, среди местных начался переполох. Повар готовил „их сиятельствам“ отдельно и подавал сам. Крестьяне являлись с подарками и отвешивали поясные поклоны. Цилюша, как истая графиня, выходила на балкон и принимала приветствия и подарки. Отдыхающие артисты наслаждались ситуацией и изощрялись в шутках.
…Почему он остался, не уехал? Отец его умер до революции, а мать в 1924 году добилась заграничных паспортов для себя и детей. Он должен был уехать вместе с семьёй в эмиграцию, но вмешалась судьба: однажды он попал на репетицию „Принцессы Турандот“, увидел исполнительницу главной роли — и оказался сражён. Она ответила на его чувство. Мать с четырьмя[к 1] младшими детьми уехала без него. Как прадед[к 2] его, нарушив сословные каноны, женился на актрисе, так и нынешний граф повторил его поступок».