على الأرجح نشأ كاسالوس على أنقاض أطلال الإمبراطورية الرومانية المتأخرة ، وهي قرية تم ذكرها في كروناكا فولتورنيز عام 964 م. في أوائل القرن الحادي عشر ، كان للمهاجرين النورمانديين الأوائل قاعدة هنا. قاموا ببناء قلعة في المكان ، في عام 1030 بواسطة روبرت جيسكارد ، [5] أو 1060 ، بواسطة رينولف درينغوت ، اعتمادًا على المصادر. [6] دمر روجر الثاني من صقلية القلعة بعد انتصاره على خليفة درينغوت ، ريتشارد الثاني ملك أفيرسا . سمح روجر في وقت لاحق بإعادة بناء الهيكل ، الذي كان يستخدم كمركز عسكري وتحصيل ضريبي تحت حكم سلالة هوهنشتاوفن ، كإقطاعية لعائلة كاسالوتشيا. في وقت لاحق كانت حيازة ديل بالزو.
في عام 1360 استحوذ الرهبان السلستين على القلعة ، مضيفين إليها كنيسة قوطية أصبحت مركزً لتوقير صورة العذراء.