O castelo remonta à construção de um mosteiro, em 1088, durante o reinado de Afonso VI de Leão(r. 1065–1109). Esse edifício foi posteriormente convertido numa alcáçova, devido à ameaça muçulmana àquele reino cristão, nomeadamente ao perigo de um ataque pela ponte de Alcântara. Com a expulsão definitiva dos muçulmanos da Península Ibérica, a antiga fortificação perdeu gradualmente a sua função defensiva, caindo no esquecimento.
Depois de diversas vicissitudes, e sob ameaça de demolição, em 1874 foi declarado como "Conjunto Histórico-Artístico Nacional". Actualmente, o monumento encontra-se completamente restaurado e, após ter servido como colégio menor, sede das Cortes de Castela-Mancha e residência universitária, encontra-se requalificado como albergue da juventude da Junta de Comunidades de Castela-Mancha e como local de realização de cursos e conferências.
Do castelo tem-se uma vista panorâmica da cidadela medieval de Toledo e do Tejo, o rio que a bordeja.
