По воспоминаниям Виктора Сергеевича Тутунова, его бабушка жила на втором этаже особняка в Большом Лёвшинском переулке, дом 15[1][2], а на первом этаже жила семья С. С. Толстого, который имея хороший продуктовый паёк, во время Великой Отечественной войны помогал ей. В 1921 году был дьяконом у митрополита Трифона (Туркестанова). В. С. Тутунов отмечал, что во время войны Сергей Сергеевич Толстой перешёл в Старообрядческую церковь, поскольку «считал, что не дело Церкви собирать деньги на оружие. Хотя, надо сказать, старообрядцы тоже собирали на это деньги. Но отпевали его в храме РПЦ. Последние годы жизни он был женат на малокультурной женщине, по профессии — почтальонше»[3].
Первым браком (c 1918) женат на Марии Александровне Кражановской (1898—1919). Вторым браком (со 2 мая 1927) — на дочери Хрисанфа Николаевича Абрикосова и княжны Натальи Леонидовны Оболенской — Вере Хрисанфовне Абрикосовой (27 марта 1906 — 29 апреля 1957)[4][5]. Третьим браком (с 29 июля 1966) — на Раисе Васильевне Чучковой (р. 1922) — разведены 14 марта 1972 года.
Известен как автор мемуаров «Как я помню Льва Николаевича, и чему он меня научил (Воспоминания внука)», изданные в книге Л. Н. Толстой для детей (Москва, Детгиз, 1961) и с тех пор перепечатываемые в учебной литературе вплоть до настоящего времени.