Het gebied stond in de 9e eeuw bekend als ‘Lippinge’ en was in eigendom van de Utrechtse Sint Maartenskerk. Het bestond uit een tweetal hoeven met grond. Op deze locatie werd in de 14e eeuw een woontoren gebouwd. Pieter van Leyden had ‘Ter Lips’ sinds 1315 in leen en gaf het aan zijn zus Trude van Leyden Aarndsdochter. Zij liet het in 1325 na aan haar kleinzoon Dirk Hoochstraat. De familie ging zich in de 15e eeuw naar zijn bezit noemen: ‘Van Lipsen’.
In 1498 kwam Ter Lips in eigendom bij de familie Oem van Wijngaarden.
Tijdens het beleg van Leiden in 1573-1574 raakte Ter Lips beschadigd. Het werd hierna hersteld.
In 1743 werd het kasteel gesloopt.
Kaart van het hoogheemraadschap van Rijnland (1615), met 'thuijs te Lips'
In de 14e eeuw was er sprake van een woontoren, die in de loop der tijd verder werd uitgebreid. Zo kwam in de tweede helft van de 15e eeuw een uitbreiding tot stand met een woonvleugel en traptoren. In de 17e eeuw volgde aan de zuidzijde een uitbreiding, waaronder een toiletgedeelte. Het L-vormige gebouw vormde een complex dat ongeveer 22 bij 21,5 meter groot was.
,_RP-T-1921-12.jpg)
.jpg)
