L'edifici es troba a la serra de les Raboses, controlant el litoral de Cullera i la desembocadura del Xúquer.[3] Se suposa que estava totalment complet, cap al segle xiv, i que en eixos moments constava d'un primer recinte emmurallat, l'albacar vell, dins del qual es trobava el castell, dotat de torres de flanqueig i una torre principal de 10 metres d'alçada.[2] L'albacar nou, envoltat amb una muralla i cinc torres, es troba a un nivell una mica inferior.[4]
Entre 1891 i 1897, es va construir el santuari de Nostra Senyora del Castell, obra de l'arquitecte Josep Maria Belda. Aquesta edificació va suposar la supressió de l'albacar vell.[2]