De 1538 à 1582, la Maison d'Egmont lui succéda. Puis, de 1678 à 1870, ce furent la Maison de Graeff, une importante famille d'Amsterdam[1]. Ce château d'Ilpenstein, construit vers 1622, et ses habitants ont joué un rôle important dans le développement de la région autour de la région de Waterland.