Pôvodne to bol barokový meštiansky dom. Ten bol v roku 1765 prestavaný (asi J. J. Wirchom) pre Josefa, grófa z Bretfeldu-Chlumčanského. Gróf Bretfeld z paláca urobil významné spoločenské stredisko, miesto konania plesov a koncertov. Medzi hostí patrili okrem iných Wolfgang Amadeus Mozart, alebo Giacomo Casanova. Reliéf sv. Mikuláša na priečelí a plastiky na schodisku sú dielom Ignáca Františka Platzera.
