První zmínka o domě pochází z roku 1366, kdy dům situovaný na Caletném plácku po Ruffovi Jelenovi koupil Leutlin ze Železné ulice za 70 kop grošů< Mezi tímto domem a Millessimovským palácem existovala ještě úzká ulička, po které lze dodnes najít stopy v podobě domu. Dům je původně románský, ve druhé polovině 13. století byl rozšířen. Z roku 1428 pochází již označení domu U Zlatého jelena.[2] V letech 1429 a 1433 stoupla cena domu na 170 kop grošů, což by mohlo naznačovat, že dům byl výstavný a před těmito roky zásadně přebudován až téměř nově postaven. Při této přestavbě získal dům dnešní dispozici, ale ulička mezi ním a palácem Cavriani čp. 597/I stále existovala.
Portál v Celetné ulici
V době renesance byl dům přestavován hlavně v zadním traktu, při Štupartské ulici vznikla nová část. Od počátku 17. století tento deskový dům vlastnili páni z Mitrovic, roku 1641 to byl Jindřich Vratislav z Mitrovic, zatímco sousední dům šp. 597/I patřil Jiřímu Vratislavovi z Mitrovic.[3]
Po roce 1700 byl dům ve vlastnictví hrabat z Bubna. V první polovině 18. století byl dům výrazně barokně přestavěn, což je doloženo k roku 1725, dostavba proběhla roku 1737 (datace na vratech). Fasáda do Celetné je ještě o něco mladší, v té době také zanikla ulička. Menší mladší úpravy domu jsou klasicistní (např. nové schodiště v zadní budově, nové pavlače). V roce 1893 vznikla nová stavba ve dvoře.
Pavel Vlček považuje za cennější průčelí do Štupartské, které se dochovalo téměř neporušené. Naopak nová stavba z roku 1893 dvorek údajně nevhodně zužuje.
Dům je dvoupatrový a dvoutraktový, do Celetné ulice je průčelí pětiosé. Z roku 1906 se dochovaly dvě archivní fotografie domu: dokumentují barokní železem plátovaná vrata hlavního portálu (dochovaná) a celkový záběr ukazuje dvojici valbových střech.[4]
