В 1396—1400 годахархиепископ КёльнаФридрих III фон Саарверден сооружает крепостной замок в городе Кемпен, как символ своего господства в этих краях. Крестообразный герб архиепископа и сегодня можно видеть над главными воротами замка. Замок был расположен на самом севере архиепископства и был призван служить оборонительным форпостом на границе с герцогством Клевским. Замок также служил резиденцией наместника архиепископа, который решал все правовые вопросы в Кемпене в мирное время и обеспечивал защиту города во время война.
В течение XVI века Кемпенский замок приходит в упадок и постепенно разрушается пока в 1570 году архиепископ Залетин фон Изенбург не восстанавливает его. Замок полностью окружается заполненным водой рвом. В 1634 году, в ходе Тридцатилетней войны, во времена правления архиепископа Фердинанда Баварского, средневековый замок перестраивается — вместо бойниц в стенах замка устраиваются широкие окна. Замок утрачивает своё оборонительое значение и переоборудуется в жилую резиденцию. В это время в замке проживал не только наместник, но часто и сам архиепископ, который использовал Кемпенский замок в качестве своего охотничьего приюта.
В 1642 году в ходе длительной осады и тяжелого артиллерийского обстрела замок захватывается гессенским войском и остается в руках победителей в течение 7 лет. После их ухода замок находится в плачевном состоянии.
Замок остается резиденцией наместника архиепископа Кёльнского до 1794 года, когда его захватывают французские революционные войска. В 1807 году замок приобретает шелковый фабрикант из КрефельдаПетер фон Лойвенич. При нем северный фасад замка сносится. В 1851 пожар уничтожает замок практически до фундамента. С 1856 по 1863 год происходит восстановление замка в псевдоготическом стиле по проекту архитектора Витазе.
С 1863 по 1925 годы в замке размещалась гимназия имени Томаса Кемпийского, памятник которому и сейчас находится рядом с собором Святой Марии. С 1929 по 1984 годы замок служил в качестве помещения городского муниципалитета, а после — в качестве городского архива.