O palácio foi construido entre 1562 e 1564 por Giorgio Vasari, através da reestruturação drástica do medievalPalazzo degli Anziani: no entanto, ainda sao visíveis alguns restos do antigo palácio e de algumas casas-torre ao longo dos flancos do edifício.
O nome deriva dos três anos de noviciado dos novos adeptos, durante os quais esses seguiam curso de adestramento chamado precisamente de la Carovana ("a Caravana").
Vasari regularizou a irregular fachada medieval, fundindo arquitectura, escultura e pintura. Os grafitos com figuras alegóricas e signos zodiacais, desenhados pelo próprio Vasari mas executados, de facto, por Tommaso Battista del Verrocchio e Alessandro Forzori (1564-1566), movimentam a fachada juntamente com bustos e brasões em mármore. As actuais pinturas aparentam gozar de um óptimo estado de conservação, mas na realidade isso deve-se às repinturas efectuadas no século XIX e no século XX, sendo as pinturas exteriores extremamente frágeis e estando sujeitas a desbotar-se e destacar-se por meio dos agentes atmosféricos.
A escadaria marmórea de dupla rampa foi refeita em 1821, por Giuseppe Marchelli, em substituição da original, de dimensões mais pequenas.
A parte posterior do edifício foi acrescentada, segundo um projecto de Giovanni Girometti, entre 1928 e 1930, por ocasião dum relançamento da Escola Normal promovido por Giovanni Gentile.