Het gebied rondom het kasteel was Hollands gebied, terwijl het kasteel zelf op Brabants gebied stond. Uiteindelijk werd Jan I van Polanen eigenaar van het kasteel, en daarmee de ook de opvolgende heren van Breda. Volgens volksverhalen kwam Johanna van Polanen regelmatig hier verblijven om te schrijven of voor andere zaken.
De 25 meter hoge toren is deels bewaard gebleven en staat nog steeds overeind aan de Kasteeldreef in Oosterhout. De ruïne van de toren, die beschermd wordt met hekken, staat op een eilandje omgeven door sloten dat met een brug verbonden is met de omgeving. De naam Slotbosse Toren is te danken aan het eikenbos dat er vroeger omheen lag.
De ruïne was tot 15 januari 2016 eigendom van de Staat (Rijksgebouwendienst). Op 15 januari 2016 werd deze overgedragen aan de stichting Monumentenbezit.
