La kastelo konstruiĝis verŝajne dum la 1070-a jardeko kaj estis normanda posedaĵo. Unue ĝi servis malpli kiel grava fortikaĵo ol kiel administra bazo de anglaj nobeloj kiu havis grandajn bienojn en sudorienta Kimrio. Dum la 12-a jarcento, post kimra ribelo, ĝi akiriĝis de anglaj reĝoj, sed en 1201 Henriko la 2-a (Anglio) donis ĝin al nobelo.
Dum la 1220-a jardeko Huberto de Burgh ege plifortigis la kastelon. En 1233, tuj apud la kastelo, anglaj kaj kimraj ribelantoj (inter kiuj estis Huberto mem) venkis armeon de Henriko la 3-a (Anglio). Huberto retenis la kastelon ĝis 1239, kiam li fine perdis reĝan favoron, kaj kiam ĝi reiĝis reĝa posedaĵo.
En 1267 Henriko la 3-a donis la kastelon al sia filo Edmundo Crouchback, kiu ofte loĝis tie kaj kiu iom rekonstruis ĝin.
