Na místě současné stavby stály již v polovině 14. století měšťanské domy, jeden z nich vlastnil Heralt z Kunštátu, Petr z Kunštátu později zakoupil také dům sousední. Objekty byly spojeny kompletní renesanční přestavbou v letech 1585–1599, kdy je vlastnil Jan z Pernštejna, přičemž v této podobě se palác dochoval dodnes. V roce 1636 jej získal moravský zemský hejtman Julius ze Salmu a Neuburku a tzv. Salmovském domě, jak byl tehdy nazýván, zasedali moravští stavové. Roku 1708 palác od Maxmiliána Františka, svobodného pána z Deblína, odkoupilo město Brno a stavitel Mořic Grimm jej přestavěl na městskou tržnici s 50 obchůdky (tzv. Schmetterhaus). Dále byl využíván jako sklad mouky a obilí, konala se zde také představení divadelních společností. V 19. a první polovině 20. století zde sídlily úřady.[3]
V roce 1944 byl dům poškozen bombardováním, jeho rekonstrukce na Kulturní centrum města Brna proběhla v letech 1952–1955 (architekt Mojmír Kyselka).[3] Posléze ho začal využívat Dům umění města Brna. Roku 1990 byla zahájena celková rekonstrukce stavby (architekti Jaroslav Černý a Jan Polášek), ta byla ale kvůli nedostatku financí po dvou letech zastavena a objekt zůstal uzavřen. K jejímu znovuzahájení došlo roku 2000, dokončena byla v roce 2002. Od roku následujícího je dům pánů z Kunštátu opět využíván pro výstavy Domu umění města Brna.[4] V domě je také kavárna Trojka, kde se mj. konají divadelní představení, besedy či koncerty.