O primeiro castelo no local foi eregido pelos Duques da Mazóvia, no século XIII.[1] Contudo, no século seguinte, a sua corte moveu-se para o futuro Castelo Real de Varsóvia, pelo que o castelo de Ujazdów foi praticamente abandonado.
No Século XVI, uma casa senhorial foi construída para a Raínha Bona Sforza.[1]
As ruínas do castelo dos príncipes Mazovianos foram incorporadas na nova casa senhorial construída a mando do Rei Sigismundo III Vasa para o seu filho, o futuro Rei Władysław IV Vasa.[1] Contudo, existem poucas evidências de que o jovem príncipe teria usufruido da residência, pois passava grande parte do seu tempo na corte do pai.