Das Stadthaus ließ Freiherr Ferdinand von Kulmer Anfang des 19. Jahrhunderts bauen. In unvollendetem Zustand wurde das Gebäude vom Königreich Kroatien-Slawonien aufgekauft und bis 1809 renoviert. Im ersten Geschoss wurde eine Wohnung als Residenz des kroatischen Banus eingerichtet. Hier lebte und starb Ban Josip Jelačić (1801–1859), der in Kroatien als Nationalheld gilt. Später wurde dem Gebäude auf der nördlichen Seite ein eingeschossiges Palais angeschlossen. Bis 1918 diente der Komplex als Amtssitz des Banus von Kroatien.
Anfang der 1990er Jahre befand sich in einem Teil des Banuspalais auch der Amtssitz des kroatischen Präsidenten. Am 7. Oktober 1991 wurde das Banauspalais von Kampfflugzeugen der serbisch geführten Jugoslawischen Volksarmee mit Raketen beschossen. Zu diesem Zeitpunkt befanden sich der erste kroatische Präsident Franjo Tuđman und der Staatspräsident der Sozialistischen Föderativen Republik JugoslawienStjepan Mesić im Gebäude, die nur knapp dem Tod entgingen. Bei dem Attentat wurde eine Person getötet und vier weitere Personen wurden verletzt. Daraufhin erklärte sich die Republik Kroatien am 8. Oktober 1991 für unabhängig und brach alle diplomatischen Beziehungen mit Jugoslawien ab. Heute befindet sich das Präsidentenpalais (Predsjednički dvori) als Amtssitz des Präsidenten, unmittelbar anschließend an das Stadtzentrum am Fuße des Medvednica-Gebirges im Nobelviertel Pantovčak.