Bij opgravingen tussen 1966 en 1989 werden de fundamenten van het kasteel bloot gelegd. Hieruit is gebleken dat de oudste delen stammen uit de veertiende of vijftiende eeuw. Het oudste deel was een zware donjon die in de zuidwestelijke hoek stond van acht bij negen meter. Deze toren stond op een stuk land van 44 bij 44 meter.
Toen Philips de Blote in 1411 de heerlijke rechten van Sint Maartensregt verkreeg bouwde hij het kasteel Keenenburg. Mogelijk stond er voordien al een aanzienlijk stenen gebouw. De Keenenburg is in de Tachtigjarige Oorlog ontmanteld.[2] In de zeventiende eeuw heeft een gedeeltelijke herbouw plaatsgevonden. De voorburcht werd aan de noordzijde langs de Gaag herbouwd.[3]
Later in de zeventiende eeuw is het kasteel uitgebreid met torentjes en een aanbouw.
Aan de Gaag werd in de zeventiende eeuw een nieuwe voorburcht gebouwd met een stenen poort. Deze poort werd later vervangen door een smeedijzeren hek dat nog bij de villa Sonnenburgh in Wassenaar staat.
Bewoners
Onbekend is wie het kasteel gesticht heeft. Het is goed mogelijk dat het iemand was van het geslacht Van Dorp wat in Schipluiden ook huis ten Dorp bezat. Dit kon ridder Philips van Dorp zijn geweest. Doordat Philips van Dorp geen kinderen had, had hij ook geen reden een tweede kasteel te stichten en ging het waarschijnlijk om een stenen huis.
Nadat Philips van Dorp overleed ging het kasteel of stenen huis rond 1411 over naar Philips de Blote. Philips de Blote was een belangrijk persoon in Delft. Meteen al na de koop liet hij het gebouw uitbreiden. Zo liet hij aan de oostzijde een voorbucht bouwen. De hoofdburcht stamt uit deze tijd.
Aan het eind van de 15e eeuw werd het kasteel eigendom van de Egmonds door het huwelijk van Aelbrecht van Egmond van Meresteijn met Haze de Blote .
Ten tijde van de Tachtigjarige Oorlog gaf Willem van Oranje omstreeks 1570 opdracht om Keenenburg te vernietigen, om te voorkomen dat deze in Spaanse handen zou komen. Vanuit Keenenburg zouden de Spanjaarden namelijk de omliggende steden, zoals Delft kunnen aanvallen. Ondanks de opdracht van Willem van Oranje konden de Spanjaarden het kasteel innemen en het omliggende gebied plunderen, waarop de eigenaar Otto van Egmond met Agnes Croesink, zijn vrouw, moesten vluchten naar Delft. De voorburcht werd in 1572-1574 verwoest. Nadat de Spanjaarden weg waren werd het kasteel hersteld.
Toen Jacob van Egmond, de zoon van Otto kinderloos stierf werd zijn neef, Otto van Zevender de eigenaar van het kasteel die het liet verbouwen met een nieuwe keuken en een nieuwe poort ten noorden van het kasteel. Deze Otto van Zevender was een zoon van Frederik van Zevender en Elisabeth van Egmond. Na het overlijden van Otto, in 1627, werd diens zoon Jacob Frederik van Zevender eigenaar totdat hij in 1639 overleed. Opvolger werd zijn zoon Otto Frederik van Zevender (1635-1662) deze was getrouwd met Anna Ermgard van Raesfelt. Zijn dochter Hester van Zevender werd in 1662, amper 2 jaar oud, de nieuwe vrouwe van Keenenburg. Hester trouwde in 1679 met Pauwel van Alphen. Pauwel werd in 1682, als weduwnaar van Hester, beleend met Keenenburg.
Nadat veel andere geslachten eigenaar waren geweest van Keenenburg werd in 1769 Willem Hendrik van Steenberch (1725-Schipluiden, 8 december 1788) ambachtsheer van Schipluiden, Hodenpijl, St. Maartensrecht en Dorp eigenaar die het kasteel restaureerde en uitbreidde met een koetshuis en nieuwe stallen. Na zijn overlijden in 1788 vererfde de Keenenburg naar zijn moeder, Maria Bachman, die in 1791 de Keenenburg verkocht aan de Haagse burgemeester Paulus Beelaerts van Blokland. Deze was de laatste eigenaar, in 1798 werd het kasteel afgebroken.
