Palazzo Pittiä alettiin rakentaa vuonna 1458.[2] Pankkiiri Luca Pitti halusi itselleen näyttävän palatsin, joka osoittaisi hänen olevan mahtavampi kuin Firenzeä hallitseva Medici-suku. Palatsin suunnittelijaksi valittiin Bernardo Buontalenti, joka oli aiemmin työskennellyt Mediceille. Pittin suku köyhtyi kuitenkin palatsin valmistumisen jälkeen, ja lopulta he joutuivat myymään palatsin Medicin suvulle vuonna 1549.
Cosimo I de’ Medicin vaimo Elisabeth Toledolainen tilasi arkkitehti Ammannatilta palatsin laajennuksen ja näyttävän sisäpihan suunnitelmat.
Palatsista tehtiin Toscanan suurherttuakunnan hallintokeskus. Seuraavina vuosisatoina palatsia laajennettiin huomattavasti. Medicien jälkeen se kuului Lothringenin suvulle, ja kun Firenze oli lyhyen aikaa Italian pääkaupunki, Savoijin kuningashuone hallitsi tästä palatsista käsin.[2]
Nykyisin Palazzo Pittissä toimii kahdeksan eri museota, joista ehkä tärkein on Galleria Palatina, jossa on näytteillä lukuisia Medici-suvulle kuuluneita taideaarteita renessanssin ja barokin ajoilta.