Согласно археологическим данным, начало освоения человеком данной области восходит к бронзовому веку, когда здесь появился форт. Считается, что из-за своего стратегического положения на реке Коа, этот форт с тех пор никогда не пустовал.
Домен Каштелу-Бон перешел к португальской короне в качестве приданого королевы Изабеллы после её брака с королём Динишем I в 1282 году. Стремясь укрепить границу, король повелел построить вдоль рубежей линию замков, в том числе в деревне Каштелу-Бон (1297).
Во время правления короля Мануэля (1495—1521) стены замка были усилены двумя четырехугольными башнями, донжоном и барбаканом. Деревня была также обнесена стеной.
В ходе войны за независимость генерал-капитаном деревни был маркиз Понте-де-Лима. Замок получил цепь бастионов и был защищен двумя артиллерийскими батареями. Позже, во время пиренейских войн, в область вторглись наполеоновские войска, и замок был разрушен.
2 января 1946 года руины замка были объявлены национальным памятником. К этому времени донжон замка уже разрушился. Между 1987 и 1988 годами руины замка перешли под охрану Главного управления по делам национальных зданий и памятников (DGEMN). В настоящее время из замковых построек сохранились ворота Порта да Вила, останки донжона и цистерны, а также часть стены.
Архитектура
Замок находится на высоте 725 метров над уровнем моря, выложен из гранита, имеет неправильную прямоугольную форму. На замковой стене изнутри сохранился каменный герб Португалии. В южном секторе находится цистерна.
По одной из теорий, одним из семи золотых замков, представленных на гербе Португалии, является Каштелу-Бом.