V rokoch 1307 a 1361 ničivé požiare spôsobili na pôvodnom pápežskom paláci nenapraviteľné škody a palác už nedosiahol napriek opravám predošlý lesk. V roku 1536 na príkaz pápeža Sixta V. postavil architekt Domenico Fontana na mieste starého pápežského paláca súčasný palác, ktorý mal slúžiť ako letné sídlo. Zámer sa nakoniec nerealizoval a pápeži v ňom postupne zriadili múzea kresťanského, misionárskeho a pohanského umenia, ktoré boli neskôr presťahované do Vatikánu.