De heerlijkheid Dussen werd voor het eerst vermeld in de 12e eeuw, toen de hertog van Brabant het goed overdroeg aan de graaf van Holland. Ook toen zou er reeds van een versterkt huis sprake zijn geweest. In 1156 was er sprake van ene Jacob van der Dussen en in 1288 van een Jan van der Dussen, die aan Brabantse zijde meevocht in de Slag bij Woeringen. Hij brak daarbij zijn been, zoals vastgelegd door Jan van Heelu:
Van dien dat hen daer es gesciet
En mochtmense nu volprisen niet.
Daer leet groot ongemac
Her Jan van Dunse, die daer brac
Sijn been met ongevalle.
In 1330 werd in Dussen door Jan VI van Heusden een donjon gebouwd, die tegen de Graaf van Holland was gericht.
In 1387 kreeg Arent II van Dussen, baljuw van Zuid-Holland en kleinzoon van Jan, toestemming van Albrecht van Beieren, Graaf van Holland, het Huys ter Dussen op te doen maeken ende te doen tymmeren op onse hofstat ter Dussen also groot ende also starc als hem ghenoeghen sal. De donjon werd uitgebreid tot een echt kasteel. Later, tijdens de Hoekse en Kabeljauwse twisten, koos Arent partij voor de Heer van Altena, Willem VI van Horne, die tegenstander was van de Graaf. In 1403 schonk de Graaf echter vergiffenis aan Arent.
In 1418 kwam de heerlijkheid aan Arents zoon, die ook Arent heette. In 1421 echter ging het kasteel grotendeels ten onder tijdens de Sint-Elisabethsvloed. Slechts enkele kelders en delen van de torens bleven overeind staan. Vanaf 1422 tot 1467 werd het Land van Altena weer ingedijkt. Een halve eeuw later werd begonnen met het herstel. Arent echter was mogelijk in 1420 al verbannen en kreeg een vrijgeleide van Jacoba van Beieren, tijdens een korte wapenstilstand met haar oom, Jan VI van Beieren. Het goed kwam in handen van Arents zoon, eveneens Arent van der Dussen geheten. Deze stierf in 1445 en het goed kwam aan Arents oom, Jan IV van der Dussen. Deze droeg zijn rechten over aan zijn jongste broer, Floris I van der Dussen (ca. 1404-1456) heer van Aartswaarde, die ook schout van Dordrecht was en in 1440 slotvoogd van Loevestein. In 1456 kwam Floris' zoon Jan V van der Dussen aan het bewind. Hij was het die het kasteel weer heeft opgebouwd tussen 1473 en 1474. Na zijn dood in 1496 kwam het goed aan Jans zoon Floris II van der Dussen. Daarna kwam het in 1509 aan Floris' zoon Jan VI van der Dussen, die in 1540 kinderloos overleed.
Nu kwam het aan Jans zuster Cornelia van der Dussen, die getrouwd was met Godfried van Brecht, heer van Baillevy. Hun zoon, Johan van Brecht, bezat het goed van 1585 tot 1593. Daarna deed dit Johans zoon Jacob van Brecht van 1593 tot 1604, en vervolgens Johans zuster Anna van Brecht, gehuwd met Hendrik Tsgeraerts, burggraaf van Antwerpen. In 1607 verkochten zij het goed aan Walraven van Gent, die Heer van Oijen was. Hij liet het kasteel in 1608 verbouwen in Toscaanse stijl. Er kwam een fraaie renaissancegalerij op de binnenplaats. Vermoedelijk werd toen ook de schade, tijdens de Tachtigjarige Oorlog opgelopen, weer hersteld. Walraven was proost van Deventer en heeft gevochten in de Slag bij Nieuwpoort. Hij trouwde achtereenvolgens met Anna van Arkel en met Geertruid van Padervoirt. Door geldgebrek moest hij eerst Oijen, in 1620 aan Johan Sigismund Kettler (1570-1629), en in 1626 ook Dussen verkopen, en wel aan Eduard van Axel. Deze bouwde de westelijke vleugel, verhoogde beide torens en liet een vierkante toren bijbouwen. In 1657 kwam het aan Maarten van Axel. In het Rampjaar 1672 werd het huis geplunderd door de Fransen.[1]
In 1682 kwam het kasteel aan Eduard van der Schueren van Hagoort, die van moederszijde van de Van Axels afstamde. In 1692 erfde zijn broer Jean Louis van der Schueren van Hagoort het kasteel.
Toen Jean Louis in 1726 overleed kwam het goed aan zijn dochter, Elisabeth Catharina Barbara van der Schueren van Hagoort (1701-1734). Deze huwde in 1727 met Alexander Graaf van Groesbeek. In 1757 overleed hun enige zoon kinderloos. Zijn zuster, Marie-Anne Gravin van Groesbeek erfde het kasteel. Zij was in 1750 gehuwd met Alexandre I de Croix, markies van Heuchin en graaf van Bucquoy. Het echtpaar woonde te Leuven en ook later zou het kasteel niet door de eigenaars bewoond worden. In 1763 kwam het aan de toen minderjarige Alexandre II de Croix, maar deze overleed reeds in 1766. Daarna kwam het kasteel aan diens broer, Charles I de Croix, gehuwd met Augustine de Vassé. Charles stierf in 1832 en diens zoon, Charles II de Croix, erfde nu het kasteel. Zijn vrouw was Marie de Tournon Simione. Hun dochter, Marie Camille de Croix, gehuwd met Marie Auguste d'Ursel, erfde het kasteel op haar beurt. In 1901 werd het ter beschikking gesteld aan de Zusters Karmelietessen die, ten gevolge van de seculariseringspolitiek uit Frankrijk moesten vertrekken. Tot 1920 was het een klooster. Voor dat doel werd een kapel bijgebouwd.
Nadat de zusters vertrokken waren stond het gebouw weer leeg, maar in 1924 werd het verkocht aan de familie Suringar. Een freule uit dit geslacht werd beschreven door Antoon Coolen in "De Vrouw met de zes Slapers". Na de dood van de freule, in 1931, werd het kasteel ter verkoop aangeboden met de aanprijzing: zeer geschikt voor afbraak. De gemeente voorkwam dit middels een sloopverbod en kocht het in 1935 zélf, met het doel dit tot gemeentehuis in te richten. Er werd herstelwerk verricht, maar in 1944 werd het kasteel zwaar beschadigd ten gevolge van oorlogshandelingen. Herstel vond plaats en in 1953 werd het kasteel alsnog een gemeentehuis. Op het perk voor de ingang groeide in de jaren 70 en 80 een ligusterhaag in de vorm van een klein doolhof. In 1980 moesten er opnieuw verbouwingen worden verricht.
In 1997 hield Dussen op te bestaan als zelfstandige gemeente en werd zij deel van de gemeente Werkendam, die het kasteel in 2003 in erfpacht uitgaf aan de NV Monumenten Fonds Brabant (MFB). In 2013 heeft de gemeente Werkendam de eigendom overgedragen aan Landgoed Brabant B.V., een 100% dochter van MFB. De Stichting Vrienden Kasteel Dussen speelt een belangrijke rol bij de organisatie van culturele en maatschappelijke activiteiten. Er kan worden getrouwd.
Gebouw
Het huidige kasteel is een door een brede slotgracht omringd bakstenen gebouw uit 1474, met oudere delen. Het bestaat uit drie woonvleugels om een binnenplaats, aan de noordzijde afgesloten door een toegangspoort tussen twee zware halfronde torens. De gewelfde kelder dateert van 1387 of ouder. De overwelfde renaissancegalerij dateert van 1609. Toen werden ook de zuid- en oostvleugel met één verdieping verhoogd. De westvleugel dateert van 1628. Ook beide torens werden toen verhoogd en een middentoren toegevoegd. Deze is verwoest in 1944 en niet meer herbouwd.
Tot het interieur behoren enkele 17e e 18e-eeuwse schouwen, waarvan sommige altijd tot het kasteel behoorden en andere van elders afkomstig zijn.
Op het wapenbord boven de toegangspoort staan de heraldische tekens van de families Van der Dussen, Suringar, Van Brecht, D' Ursel, Van Gendt, De Croix, Van Axele, Groesbeek en Van der Schueren.
Tijdelijke expositie in Kasteel Dussen over de geschiedenis van de regio (2018)
