Zámok stojí na mieste staršej tvrdze. Pri založení bol zahrnutý do opevnenia mesta, je však od mesta oddelený výraznou priekopou. Bol rozšírený Pernštejnovcami počas 16. storočia a barokovo prestavaný v rokoch 1655 - [1661] podľa plánov Carla Luraga. V rokoch 1909 - 1913 bol upravený podľa plánov Dušana Jurkoviča pre nových vlastníkov, priemyselníkov Jozefa a Cyrila Bartoňa z Dobenína. Jurkovič navrhol aj originálnu zámockú záhradu s drevenými stavbami. V roku 1948 bol zámok Bartoňovcom skonfiškovaný. V štátnej správe zostal až do roku 1992, kedy bol v reštitúcii vrátený Josefovi Bartoňovi Dobenínovi a sprístupnený verejnosti.[1]
Na severozápad od zámku je terasová zámocká záhrada talianskeho štýlu s drevenými stavbami Dušana Jurkoviča, ktoré boli nedávno obnovené. Medzi ne patrí aj lávka pre peších v zámockej záhrade,[3] ktorá pôvodne neslúžila verejnosti, ale iba majiteľovi zámku Cyrilovi Bratoňovi z Dobenína. Spájala dve časti záhrady predelené verejnou komunikáciou. Bola postavená v roku 1910 a Jurkovič sa tu nechal inšpirovať ľudovými stavbami zo slovenských Čičmian. Za rok (v sezóne) prejde lávkou tristo tisíc osôb. To ohrozovalo jej existenciu a tak do nej boli dodatočne zabudované skryté oceľové nosníky. Lávka je rozdelená na dve časti vežou, ktorá má tri podlažia a tvorí výrazný architektonický prvok. V parku pred zámkom je fontána z jedného kusa kameňa.[4]
Severne od zámku, smerom k bývalej bráne, je budova bývalého pivovaru,[5] kde je pomník Bedřicha Smetanu. Otec Bedřicha Smetanu František sem v roku 1818 prišiel ako nájomca do opraveného zámockého pivovaru. Až potom sa presunul do Litomyšle, kde sa Bedřich v roku 1824 narodil. Bedřich sa sem vracal však za svojimi príbuznými, za sesternicou Luisou, do ktorej sa zamiloval a napísal pre ňu Luisina polku.
