Carlisle strategie gravis ĉar ĝi situas proksime al la landlimo inter Anglio kaj Skotlando, kaj estis antaŭaj fortikaĵoj, ekde la romia epoko. La nuna kastelo unue konstruiĝis malfrue de la 11-a jarcento, dum la regado de Vilhelmo la 2-a (Anglio) post kiam tiu forpelis la skotojn de Cumberland. En 1122 Henriko la 1-a (Anglio) ege pligrandigis kaj plifortigis la kastelon kaj ordonis la konstruon de ŝtonaj urbomuroj. Multfoje la skotoj klopodis regajni Carlisle, kaj ili sukcesis dum la longa enlanda milito kiam Stefano regis Anglion, sed post malmultaj jaroj la angloj rekaptis ĝin.
En 1568 Maria Stuart, reĝino de Skotlando, plurajn monatojn malliberiĝis en la kastelo.
