Al igual que los frescos de su capilla, y la rica decoración cerámica que aun conserva.
La ubicación del Palacio fue elegida personalmente por el banquero dado que en ese momento la calle Arenal se había convertido la zona de moda entre la burguesía madrileña, entre la Puerta del Sol y el Teatro Real, con su puerta principal desplazada quedando situada frente a la plaza de Celenque. Será inaugurado en 1851 con un baile presidido por la reina Isabel II.[3] Fue muy famoso en su época por las fiestas allí celebradas y que se podían observar desde la calle a través de los balcones del salón. Destacan los frescos de los salones —en especial el techo del salón de baile— obra de Joaquín Espalter y Rull.[4] En 1977 fue incoada su declaración como Bien de Interés Cultural.
De 1991 a 2011 funcionó en él una discoteca con el nombre de «Palacio de Gaviria».[3][2] Desde el cierre de la discoteca se han empleado diversas fórmulas para rentabilizar el espacio: alquiler para eventos y exposiciones temporales (desde 2017).[5][6] En la actualidad posee trece salas, y alberga un centro comercial de decomisos.