Il castello di Colchester venne costruito sopra i resti del podio e delle fondazioni, ritenute solide, in epoca normanna. Il castello venne costruito con materiali di spoglio del tempio stesso e di altri edifici romani della città. I resti sono stati dissotterrati e sono visibili all'interno del castello.