Šventaragio ir Universiteto g. kampe seniau stovėjo šv. Marijos Magdalenos bažnyčia. XVI–1799 m. prie jos veikė seniausia Vilniuje ligoninė. Ją uždarius ligoniai perkelti į šv. Jokūbo ligoninę. 1818 m. bažnyčia nugriauta. Prie ligoninės stovėjo Šv. Marijos Magdalenos vartai, Vilniaus gynybinės sienos dalis, kurie nugriauti XVIII a.[3]
Šventaragio g. 2/Pilies g. 1 stovėjęs kampinis triaukštis namas priklausė Vilniaus katedros kapitulai[4] XVI a. viduryje šioje vietoje stovėjo viena Radvilų rezidencijų.[5] Ją sudarė keletas pastatų. Šių pastatų ansamblis pavaizduotas Brauno ir Hogenbergo atlase 13 numeriu. XVIII a. viduryje vietoj šių statinių žemaičių vyskupas Antanas Tiškevičius pastatė vieną didelį pastatą. 1790 m. Vilniaus namų schemoje nurodyti nauji Lopacinskių rūmai. 1790-1795 m. rūmai atiteko Oginskiams. 1797 m. jie parduoti valdžiai. XIX a. pastatas buvo dviejų aukštų, fasadine dalimi atgręžtas į katedros pusę, pastato išorės būklė bloga, jis apie 30 metų negyvenamas. 1864–1867 m. pastatas suremontuotas, pastatytas trečias aukštas. Jame veikė gubernijos įstaigos. XIX a. pab.- XX a. pradž. į pastatą perkelta gubernijos spaustuvė. Tarpukaryje pastate būta ir gyvenamųjų butų, čia veikė Vilniaus vaivadija.[6][7]
Šventaragio g. 4 įsikūrusi Vilniaus arkivyskupijoskurija ir arkivyskupo rezidencija. 1934 m. trijų aukštų keturkampius Romos katalikų metropolijos kurijos rūmus suprojektavo architektas Stefanas Narembskis. Pastatas arkivyskupijai mainais paskirtas už nusavintus senuosius Vyskupų rūmus, kuriuose dabar įsikūrusi Lietuvos Respublikos Prezidentūra. Sovietmečiu, nuo 1944 m. pastatą buvo užėmęs LTSR Aukščiausiosios Tarybos Prezidiumas. Prezidiumui persikrausčius, namas liko jo žinioje. 1992 m. Popiežiaus Jono Pauliaus II apsilankymo Lietuvoje išvakarėse, atnaujintas pastatas, Šventaragio g. 4, grąžintas Vilniaus arkivyskupijai.[8][9]