El edificio está emplazado en altura dominando la localidad de Piedrahíta, en una zona al sur de esta,[1] sobre la que anteriormente se alzaba un castillomedieval[2] que era una antigua fortaleza de los Álvarez de Toledo, y que por entonces se encontraba, según documentos de la época, en estado ruinoso.
El edificio presenta una planta en forma de 'U', tiene tres plantas compuestas por un sótano y dos niveles. Posee un patio de armas ubicado al frente de la edificación y cuenta con unos jardines versallescos al sur[5] adornados con fuentes.
La Casa de Alba lo utilizó como residencia veraniega.
El palacio sufrió severos daños provocados por el ejército napoleónico durante la guerra de la Independencia[4] e igualmente durante la Guerra civil española. El interior fue incendiado y saqueado, sin embargo, el exterior permaneció sin alteraciones. En 1931, el Ayuntamiento de Piedrahíta compró el palacio a la Casa de Alba por "68 000 o por 86 000 pesetas".
Fue declarado bien de interés cultural en la categoría de monumento mediante decreto de 7 de julio de 1993 (BOE de 19 de agosto de 1993).[6]
En el siglo XXI alberga un centro de enseñanza infantil y primaria, el CEIP Gran Duque de Alba,[7] y sus jardines son usados como parque público de la localidad.