Tout le bâtiment, à l'exception des façades, a été détruit pendant la guerre d'Espagne. Il a depuis été reconstruit et reste une résidence privée, en partie grâce à la 18e duchesse d'Albe, Cayetana Fitz-James Stuart. L'intérieur a été notamment remodelé par Edwin Lutyens. C'est dans ce palais qu'en 1920 était morte la dernière souveraine de France, l'impératrice Eugénie, épouse de l'empereur Napoléon III.