В начале XVIII века при пожаре 1712 года Гранатный двор сгорел и был перенесён на Васильевский луг, а позже к Симонову монастырю.[1] Почти два века считалось, что от него ничего не сохранилось, но сейчас обнаружены и отреставрированы некоторые постройки Гранатного двора XVI—XVII веков (ул. Спиридоновка, 3/5).
В 2018 году здание недолгое время занимал культурно-выставочный центр Гранатный двор[2], где проводились художественные выставки, благодаря этому была возможность посетить здание. Однако уже в 2019 году Культурно-выставочный центр закрылся, став одним из самых недолго просуществовавших проектов такого рода.