Borgen blev sandsynligvis bygget af Hermer de Ferrers efter den normanniske erobring af England, og den forblev i Ferrers-familien frem til 1166.[1] Motten er 5 meter høj og 77 x 62 meter stor.[2] På tre sider er den omgivet af en grøft eller oldgrav, der er op til 15 m bred og 2 m dyb.[2] Baileyen er 150 x 88 m, og hæver sig omkring 1 m over det omkringliggende landskab.[2] Borgen har været meget synlig i middelalderen, og har fungeret som et lokalt landemærke, der har kontrolleret området kendt som The Fens.[3] Wormegay har været hovedsæde for det feudale len med ejendomme i East Anglia.[4] Som en stor færstning har den haft pligt til at forsyne Norwich Castle med soldater.[5]
