La kastelo verŝajne fondiĝis dum la regado de Raedwald, kiu regis East Anglia de ĉ. 559 al 624. En 870 la vikingoj kaptis ĝin, kaj retenis ĝin dum la sekvaj kvin jardekoj. Post la normanda konkero de Anglio, ĝi iĝis posedaĵo de la reĝoj ĝis Henriko la 1-a donis ĝin al Roger Bigod (1-a grafo de Norfolk). Ties posteulo Roger Bigod (5-a grafo de Norfolk) mortis senide kaj tiel la kastelo iĝis posedata de Eduardo la 1-a. Eduardo la 2-a donis ĝin al sia duonfrato Thomaso Plantaĝeneto, kaj per edziĝo ĝi pasis en la manojn de la duka familio Howard. En 1913 la brita registaro akiris la kastelon.
