Za husitských bouří byl klášter poškozen a opuštěn. Roku 1434 jej město poskytlo soukromému vlastníkovi. Roku 1437 se však kanovníci vrátili a zřejmě i provedli některé opravy. Rozsáhlejší obnova je doložena roku 1498, kdy byl kostel znovu vysvěcen. V té době byl zřejmě také znovu zakleknut Hansem Spiessem.[1]
S prosbou o pomoc se roku 1572 na panovníka obrátil opat Mikuláš Venc, neboť tvrdil, že budovy kláštera „nýčko zpustlé jsou“. Roku 1575 byl mj. proto chrám znovu zaklenut klenbou dochovanou až do dnešních dnů a také opatřen novým krovem a krytinou.[1]
Roku 1603 budovy kanonie poškodil blesk. Kostel byl opět opraven a zastřešen, konvent však nikoli. Navíc byl vypleněn při vpádu pasovských roku 1611, při němž byli také „ukrutně zavražděni“ opat a několik kanovníků.[1]
Roku 1629 byly kanonii vráceny statky, což uspíšilo obnovu. Na konci třicetileté války byl sice areál využit jako vojenská zbrojnice, ale v letech 1653–58 došlo za opata Isidora de Croce k přestavbě a zvětšení budov, patrně dle projektu Carla Luraga.[1]
V letech 1789–91 prošly budovy konventu stavebními úpravami. Další přestavba a modernizace přišla roku 1808. Další úpravy pro potřeby nemocnice se odehrály v letech 1865–66 poté, co přešla do městské správy.
Podoba gotického kláštera není zcela známa. Výrazné relikty gotických konstrukcí však dokládají, že středověkého původu jsou všechny tři křídla kolem rajského dvora. Zbytky zdiva jsou dochovány především v jižním křídle. Byla zde zjištěna řada malých okének v prvním patře a také veliké hrotité okno kaple svatého Karla Velikého, která měla obdélný půdorys a procházela dvěma patry. Je přitom zřejmé, že budovy byly dvojpatrové. Křížová chodba však pouze přízemní. Rozvržení středověkých klášterních budov přitom zřejmě vycházelo z cášského vzoru.[1]
V současné podobě je areál kláštera výrazně ovlivněn barokními zásahy. Návštěvník nejprve vstupuje do parkově upraveného prostranství svíraného ze severu barokní budovou nové prelatury, na západě budovou staré prelatury a z jihu klášterním kostelem tvořeným gotickou osmibokou lodí, z východu navazujícím polygonálním presbytářem a věží na západě. Kostel je zastřešen trojicí výrazných barokních kupolových střech s lucernami. Od jihu přiléhá k lodi kostela barokní budova svatých schodů. Samotné budovy kláštera jsou vsunuty na západ a na prostranství zasahuje jenom malá část jejich východní fasády. Jsou komponovány přesně na ose klášterního kostela. Jejich maximální oddělení od veřejného prostranství symbolicky vyjadřuje oddělenost řeholního života v klauzuře. Klášter tvoří trojice barokně upravených křídel, doplněných čtyřkřídlým ambitem, obíhajícím kolem čtvercového rajského dvora. Fasády klášterních budov jsou velmi prosté a pochází z raně barokní obnovy. Směrem k západu do prostoru bývalé klášterní zahrady pak vybíhá dvojice křídel spíše hospodářského rázu.[1]
BÍLEK, Tomáš Václav. Statky a jmění kollejí jesuitských, klášterů, kostelů, bratrstev a jiných ústavů v království Českém od císaře Josefa II. zrušených. Praha: Bačkovský, 1893. 472 s. Dostupné online. - kapitola Klášter augustiánů na Karlově v Praze, s. 144–146.