Na místě budoucího kláštera stály asi tři domy, dva z nich při náměstí. Šlo o románské objekty postavené na původní úrovni terénu Starého Města. Při Dušní ulici stával třetí dům, který ale zanikl (poslední zmínka o něm je z roku 1433), sloučil se se sousedním domem. Mezi domy byl velký dvůr. Ten koupil v roce 1405Jošt Moravský, po jeho smrti v roce 1411 ho zdědil Václav IV., který ho věnoval své manželce Žofii Bavorské. Žofie dům odkázala svému kuchmistru Protivovi ze Vchynic, ten jej v roce 1438 prodal Hanušovi z Kolovrat. V roce 1448 dům získal Jiří z Poděbrad a po něm jeho synové, Minsterberkové. V 16. století dům vlastnili Vartenberkové či Pernštejnové. Před rokem 1601 byl dům výrazně pozdně renesančně přestavěn, v té době jej vlastnili Berkové z Dubé.
V rámci asanace Starého Města byly v letech 1902–1903 zbourány klášterní budovy ve dvoře, poslední zbylý dům při náměstí koupila v roce 1934Pražská městská pojišťovna, která dům v letech 1939–1940 adaptovala a v patrech spojila se sousedními domy, které jí také patřily.
