Si decise di costruire il nuovo palazzo reale accanto ad un monastero del XV secolo dedicato a San Ildefonso a non molta distanza da Valsain, sito del precedente palazzo distrutto da un incendio ormai da tempo e del quale restano ancora oggi delle rovine. I lavori terminarono nel 1739. Il palazzo di pianta rettangolare la cui facciata è stata disegnata dall'architetto sicilianoFilippo Juvarra ha all'interno sale con volte affrescate da diversi artisti, lussuosamente arredate nello stile Impero con specchi e cristalli della Granja, porcellane orientali e di Sèvres e ben 71 orologi funzionanti, oltre a dipinti di artisti spagnoli e italiani come Luca Giordano, Corrado Giaquinto, Jacopo Bassano e Andrea Procaccini.
Ospita anche un Museo degli Arazzi con opere di artisti francesi, fiamminghi e spagnoli realizzate nel corso di vari secoli su cartoni di noti pittori. Il complesso è rinomato soprattutto per i grandiosi giardini di tipo francese con viali rettilinei limitati da siepi sempreverdi di lunghezza complessiva di più di 34 km, boschi, statue e fontane i giardini si sviluppano su un declivio naturale della Sierra giungendo fino all'altitudine di 1325 m, da dove un bacino artificiale (detto "El mar") alimenta le 26 fontane (di cui una ha un getto di 47 m) tutte funzionanti con statue fuse in piombo colorate per sembrare di bronzo a formare gruppi di temi mitologici e una cascata. Normalmente solo poche fontante sono in funzione ma due giorni all'anno, in occasione delle festività di San Ferdinando e di San Luigi vengono attivate tutte insieme offrendo uno spettacolo eccezionale.