El castell va ser construït el 1866 per l'arquitecte anglès Edward Milner per encàrrec de la família Liedekerke-Beaufort, que van haver d'abandonar la seva residència anterior, el castell de Vêves, durant la Revolució francesa.
Els seus descendents el van ocupar fins a la Segona Guerra Mundial, quan va ser adquirit per la Societat Nacional dels Ferrocarrils Belgues (SNCB/NMBS) per convertir-lo en orfenat. Es va mantenir com una instal·lació per a la cura de nens fins a 1980. Ha estat buit des de 1991. Encara que l'ajuntament de Celles s'ha ofert a restaurar-lo, la família s'hi nega; i l'enorme edifici es troba en ruïnes. S'ha convertit en una de les destinacions favorites dels exploradors urbans.