Oorspronkelijk was het een jachtpaviljoen voor het huis Trastámara dat de naam Casa del Bosque droeg. Filips II van Spanje liet er tussen 1552 en 1556 een paleis met Vlaamse invloeden bouwen naar plannen van architect Gaspar de Vega. Van hieruit schreef Filips II zijn brieven uit het bos van Segovia aan Margaretha van Parma. In 1682 werd het paleis geteisterd door brand. Het werd (ook omdat er in de 18de eeuw een nieuw paleis werd gebouwd in La Granja de San Ildefonso) nooit hersteld. Er blijven enkel ruïnes over van het paleis van Valsaín.
