En 1628, le scribe du Grand-Duché de Lituanie Stefan Krzysztof Pac de la famille Pac acheta le bâtiment[1]. Leur fils, Krzysztof Zygmunt Pac, qui sera plus tard chancelier, en hérita. En 1655, pendant la guerre russo-polonaise, le palais brûla, puis fut reconstruit. Après la mort de Krzysztof Zygmunt Pac, le palais passa en possession de son parent Michał Kazimierz Pac. En 1748, le palais baroque brûle à nouveau. Ni Józef Franciszek Pac ni son fils Michał Jan Pac, dernier descendant de cette famille autrefois riche et influente, ne réussirent à le reconstruire. En 1771, pour des raisons politiques, Jan Pac dut émigrer et ses biens furent séquestrés. En 1783, le palais en ruine fut acquis par le Grand Chancelier de Lituanie, Aleksander Michał Sapieha. Il reconstruisit le palais et le décora dans le style classique[1].
En 1793, le fils d'Aleksander Michał et de Magdalena Lubomirska – Franciszek Sapieha, général d'artillerie, hérita du palais. Après l'insurrection de Novembre (1830-1831) et deux ans après sa mort, les autorités russes confisquèrent le palais à son fils, Eustachy Kajetan Sapieha, pour son implication dans le soulèvement, et l'attribuèrent comme siège du gouverneur. En 1909, le Palais Sapieha devient le club russe. En 1912, le palais fut à nouveau reconstruit par l'architecte Alexandre Sonine et abrita l'Assemblée de la noblesse russe. Avant la Première Guerre mondiale, les locaux appartenaient au ministère de l'Intérieur. Il y avait une librairie, une galerie d'art et un magasin de vins. En 1918, l'association lituanienne « Rūta » y travaillait et en 1919, c'était le siège des syndicats chrétiens. Les autorités polonaises étaient également locataires du lieu et y ont installé quelques institutions d'état[1].
Après la Seconde Guerre mondiale, le Palais Pac fut attribué aux travailleurs des communications. En 1959, le palais a été reconstruit et partiellement restauré. Le bâtiment a ensuite été adapté aux besoins de la Maison de la Culture des Travailleurs de la Communication, et des appartements ont également été aménagés. Entre 1978 et 1991, le palais a été à nouveau restauré[1].
