Der dritte Bischof von Paderborn, Luithard (862 bis 887 Bischof; † 887 in Paderborn), ließ in Neuenheerse, zusammen mit seiner Schwester Walburga, im Jahre 868 ein Damenstift errichten, das schon 871 durch Kaiser Ludwig den Deutschen unter die Schirmherrschaft des Reiches gestellt und „Kaiserliches Freiweltliches Hochadeliges Damenstift Heerse“ genannt wurde.
1599 ließ Ottilia von Fürstenberg (1549–1621) das Abteigebäude mit gleicher Benennung errichten. Den ehemaligen Sitz der Äbtissin stellt heute das Wasserschloss Heerse dar. Nach der Aufhebung des Stiftes im Jahr 1810 gelangten die Gebäude und Ländereien in private Hände.[1] Die Gräben des Schlosses werden mit dem Wasser der in der Nähe entspringenden Nethe gespeist.[2]
1989 wurden das Abteigebäude und das umliegenden Gelände mit dem Torhaus vom Generalhonorarkonsul von Ghana, Manfred O. Schröder, und seiner Frau Helga erworben. Sie gestalteten die Innenräume und richteten im Schloss ein Museum ein.
