An der Wende vom 14. zum 15. Jahrhundert fand ein Umbau der Burg statt. Einige Autoren meinen, dass der ursprüngliche Bau zwischen dem 11. und dem 13. Jahrhundert zu datieren sei, eine Zeit, in der wohl der gekappte Nordostturm entstand.
Eine Verstärkung wurde in der zweiten Hälfte des 15. Jahrhunderts durchgeführt, als die Orsinis große Rundtürme anbauen ließen. Auch der Bau des Mauerrings mit trapezförmigem Grundriss ist dieser Periode zuzuschreiben.
In den 1960er-Jahren wurde die Festung restauriert, aber der massive Einsatz von Stahlbeton rief kritische Kommentare hervor; nach und nach stellten weitere Restaurierungen die ursprüngliche Ansicht der Festung wieder her.
Die Anlage zeigt einen doppelten Mauerring; der innere ist älter und der äußere stammt aus der Zeit der Cantelmos. Zahlreich sind die Wappen in der Nähe des Eingangs und auf den Türmen. Das lesbarste ist das der Orsinis. Die Verzierungen zeigen Anklänge an die Renaissance, ähnlich dem Gesims am Campanile von Santa Maria Maggiore, mit Ausnahme der Spitzbogentüren. Die mittelalterlichen Türme sind:
Torre del Re (dt.: Königsturm) im Nordwesten, dahinter die Zugbrücke, Höhe 25 Meter. Er ist fünfseitig
Torre Fantasma (dt.: Geisterturm) im Nordosten, so genannt nach der Legende des Barons Roberto de Luczinardo, der das Porträt seiner Gattin Margherita malen ließ, nachdem sie sich wegen der falschen Nachricht vom Tod ihres Gatten vom Turm gestürzt hatte. Der Turm stammt aus dem 14. Jahrhundert, Höhe 27 Meter.
Torre d’Assedio (dt.: Belagerungsturm) im Südosten; er ist der älteste, Höhe 12 Meter. Der obere Teil des Turms brach ab, als er 1230 beim Angriff der Truppen von Friedrich II. beschädigt wurde.