Die Baugeschichte des Schlosses geht vermutlich bis zum Anfang des 12. Jahrhunderts zurück. Zu dieser Zeit wurde auf einer Moorinsel eine künstliche Anhöhe angelegt, auf der ein Wohnturm aus Holz erbaut wurde. Anfang des 13. Jahrhunderts wurde der hölzerne Wohnturm durch einen runden Turm aus Tuffstein ersetzt, wovon noch Reste in der Mauer der Hauptburg erhalten sind. Die wesentlichen, noch bestehenden Gebäudeteile datieren aus den 14. bis 17. Jahrhunderten. Bei Beginn des Achtzigjährigen Kriegs hatte Huis Bergh mehrmals großen Schaden genommen. Im Jahr 1735 brannte das Schloss aus.
Im Jahr 1912 erwarb der Textilfabrikant und Kunstsammler Jan Herman van Heek (1873–1957) aus Enschede das Schloss. Ein weiteres Feuer ereignete sich 1939. Die Renovierungsarbeiten begannen 1939 und wurden 1941 abgeschlossen.
