Дворец в его нынешнем виде был построен в несколько этапов. Левая часть здания возведена в 1780-х годах Воронцовыми по проекту неизвестного архитектора. Флигель справа от старого дома пристроен в 1821—1822 гг. новым владельцем участка, Д. Л. Нарышкиным (возможно, по проекту К. И. Росси).
Э. Д. Нарышкин продал недвижимость своему кузену Л. А. Нарышкину, при котором осуществлена реконструкция ряда внутренних помещений (архитектор Бернхард Симон), обе части здания объединены единым фасадом (архитектор Н. Е. Ефимов) — в 1844—1849 годах[1].
После Октябрьской революции дворец неоднократно менял своё назначение. В 1918 году он был национализирован. В 1919—1925 годах здесь помещался Музей быта, в 1927—1929 годах — Дом печати (очаг деятельности обэриутов, где в 1928 году состоялся поэтический вечер «Три левых часа»), затем Дом инженерно-технических работников им. В. М. Молотова, в конце 1930-х годов — проектная организация[1].
Осенью 1941 года был частично разрушен в результате пожара от попадания зажигательной авиабомбы, к 1950 году восстановлен. После реставрации интерьеров, проведённой в 1963—1965 годах (архитектор М. М. Плотников), во дворце был открыт Дом дружбы и мира с народами зарубежных стран[1].
В 2001 году перед зданием дворца на спуске набережной Фонтанки установлен памятный знак «Блокадная прорубь».
С 2006 года во дворце шла реставрация. 19 ноября 2013 года в нём официально открывается музей Фаберже. Он стал первым в России частным музеем федерального масштаба. Пасхальные ювелирные изделия расположены в синей гостиной дворца[2]. В других залах также экспонируются коллекции русского фарфора XIX века, эмали, камнерезные изделия, русские иконы, живопись, серебро, драгоценная утварь и мемориальные предметы[3].
Авгуль Л. Н., Крылова А. В. Дворец Нарышкиных-Шуваловых. — СПб.: ООО "Алмаз", 1996. — 192 с. — (Знаменитые здания Санкт-Петербурга). — 5000 экз.
Б. Н. Бочарников Архитектор Бернхард Симон и усадьба Быково в зарубежных источниках // Русская усадьба. — 2021. — Т. 27(43). — С. 65. — 81 с.
Зодчие Санкт-Петербурга. XIX — начало XX века / сост. В. Г. Исаченко; ред. Ю. Артемьева, С. Прохватилова. — СПб.: Лениздат, 1998. — 1070 с. — ISBN 5-289-01586-8.
Жерихина Е."Частные дворцы Петербурга".
Мосякин А. Г. Жемчужное ожерелье Санкт-Петербурга. Дворцы, восставшие из пепла. СПб.: Паритет, 2014. Гл. 20. — ISBN 978-5-93437-405-2.