1720 m. po rūmų statytojo mirties rūmus paveldėjo jo jauniausias sūnus Lietuvos didysis maršalkaAleksandras Povilas Sapiega, kuris 1734 m. palaidotas trinitorių Viešpaties Jėzaus bažnyčioje (1744 m. jam buvo pastatytas paminklas, išlikęs iki 1865 m.).
1760 m. po Mykolo Antano mirties (neturėjusio įpėdinių) rūmai atiteko jo brolio Kazimiero Leono Karolio sūnui, Lietuvos didžiajam kancleriuiAleksandrui Mykolui Sapiegai. Jo valdymo metu 1763–1765 m. prancūzų architektas Jacobas Delau tvarkė parką, fontaną, sumūrijo naują tvorą ir laiptus į rūmus ir parką.
1808 m. rūmus už 10 tūkst. sidabro rublių nupirko carinė valdžia ir 1809 m. pagal Vilniaus gubernijos architekto Žozefo Pusjė projektą pertvarkė į karo ligoninę. Vėliau pertvarkyta dar kartą 1843 m.
1862 m. pagal inžinieriaus architekto Ivano Levickio projektą rūmuose įrengta karo ligoninė perstatyta į Lietuvos Brastos Aleksandro kadetų korpusą, kuris čia veikė iki 1863 m.
1940 m. čia įsikūrė Vilniaus pėstininkų karo mokykla, kuri 1941 m. buvo evakuota į Stalinską. 1941–1944 m. rūmuose vėl veikė karo ligoninė. 1945 m. į senąsias patalpas buvo grąžinta Vilniaus pėstininkų karo mokykla, kuri veikė iki 1991 m.
2011 m. gruodį buvo pristatyti planai atgaivinti barokinį ansamblį ir pristatytas rūmų restauravimo projektas.[3][4] 2012 m. prasidėjo rūmų atkūrimas. 2018 m. rūmai perduoti Šiuolaikinio meno centrui.[5]