Точное время возникновения замка не известно. Первым известным владельцем замка был рыцарь Дитрих фон Берге († 1272). После него аллод в течение шести поколений передавался от отца к сыну, пока в 1433 году не умер бездетным последний представитель рода — Герлах фон Берге. Его вдова продала имение рыцарю Генриху фон Бакему.
Мужская линия фон Бакемов прервалась со смертью Йоргена фон Бакема в 1521 году и замок перешел в наследство Георгу фон Боенену — супругу Гартлиб фон Бакем (дочери Йоргена). В 1530 году начинается перестройка замка Берге из оборонительной крепости в барочное здание, удобное для жизни. На протяжении последующих 250 лет благосостояние семейства фон Боененов возрастало, что не могло не сказаться на развитии замка Берге. Он становится самым влиятельным замком к северу от Эмшера. В начале XVIII века с южной стороны замка разбивается парк во французском стиле.
Западный фасад с гербом фон Вестерхольт-Гюсенбергов
В 1790 годуфрайхерр Лудольф Фридрих Адольф фон Боенен был возведен в ранг барона. После его бракосочетания с Вильгельминой Франциской графиней фон Вестерхольт-Гюсенберг[нем.] владельцы замка получили право именоваться графами фон Вестерхольт. Возведение в графское достоинство требовало соответствующей перестройки замка. В 1785—1788 годах замок перестраивается по проекту архитектора Верденского аббатства Энгельберта Клайнхансца. Замок приобретает черты раннего классицизма. Парк расшитряется на запад, где разбивается новый сад в английском стиле. В замке гостили такие видные личности как Наполеон Бонапарт и маршал Блюхер.
После смерти последней владелицы замка графини Дженни фон Вестерхольт здание арендуется хозяйственным предприятием города Бюр. В 1924 году город за 1,4 миллиона золотых марок выкупил замок и парк общей площадью 102 га в коммунальную собственность для организации там городского парка. С 1926 по 1933 годы были проведены работы по реставрации и благоустройству: замок реконструирован и приведен к виду, который он имел в конце XVIII столетия, парк был увеличен на 73 га, в парке установлены копии оригинальных скульптур, в 1930 году перед зданием образуют пруд.
Во времена национал-социализма здание используется как учебный центр НСДАП. В это время были снесены все хозяйственные постройки (кроме здания конюшни, которое было снесено только в 1983 году).
После второй мировой войны в 1952—1953 годах замок был отреставрирован. Были выполнены масштабные работы по восстановлению интерьеров и переоборудованию здания в гостиницу с рестораном. В дальнейшем реставрационные работы проводились в 1977—1978 и в 2003—2004 годах.
Замок Берге сегодня
На сегодняшний день здание замка предстает в облике, приданном ему при перестройке в 1788 году. На западном фасаде красуется герб последних владельцев замка графов фон Вестерхольт-Гюсенберг. Здание имеет форму открытой на запад буквы «П». Длина боковых фасадов — 40 м.
В июле 1988 года здание и парк взяты под охрану государства.
