O palácio foi construído para a Compagnia di Santa Maria della Misericordia entre 1352 e 1358, servindo para expôr ao público crianças abandonadas para serem reconhecidas ou adotadas. Hoje é um museu que abriga várias obras dos períodos gótico e renascentista.