I 1287 ble Englands sørkysten herjet av stormer i flere måneder, og de myke sandsteinsklippene gav etter. Store deler av klippen falt ut i havet og tok deler av borgen med seg.
I 1339 og 1377 ble Hastings angrepet av franske styrker, og mange hus ble brent ned. Borgen ble ikke restaurert, og gjennom det neste århundret gled stadig mer ut i havet. I midten av det 16. århundre ble klostrene oppløst, og dermed var det ikke lenger noen kirkelig tilstedeværelse ved borgen. Pelhamslekten kjøpte eiendommen, og brukte den til jordbruk. Ruinene ble så overgrodd at man glemte hvor de befant seg.
Under andre verdenskrig ble ruinene ytterligere skadet da Hastings ble bombet. Eiendommen ble så kjøpt av Hastings Corporation i 1951. Ruinene ble gravet frem og gjort til en turistattraksjon.
Litteratur
Plantagenet Somerset Fry: The David & Charles Book of Castles. David & Charles, 1980. ISBN 0-7153-7976-3