Il progettista, nel disegnare il prospetto del Seminario, si rifece alla facciata del Palazzo dei Celestini. Il prospetto monumentale è costituito da una struttura inferiore a due piani, con un'articolata elaborazione decorativa, e da un terzo piano superiore, progettato dall'architetto Manieri, più semplice e lineare.
La facciata dei due piani inferiore a bugnato è scandita da un ordine gigante di lesene rialzate da piedistalli tra le quali si trovano due serie di otto finestre con ricche incorniciature. Al centro della facciata il portale d'accesso è sovrastato da un ampio balcone con finestra a tre archi. L'ordine è coronato da una balaustra formata da colonnine intervallate da pilastrini.
Interno
L'ingresso ospita sulle pareti laterali otto busti in pietra leccese che raffigurano i dottori della Chiesa (Sant'Atanasio, San Tommaso d'Aquino, San Girolamo, Sant'Ambrogio, San Giovanni Crisostomo, San Bonaventura, Sant'Agostino e San Gregorio).
Al centro dell'atrio si trova un pozzo decorato come canestro con manico, opera del Cino
All'interno del palazzo è presente una cappella del 1696, che conserva tele di San Gregorio Taumaturgo del 1696, opera di Paolo De Matteis, di San Vincenzo di Saragozza e di Santa Domenica.
Al primo piano il palazzo ospita il "Museo diocesano" e la "Biblioteca Innocenziana", così chiamata dal nome assunto dal papa Innocenzo XII che era stato vescovo della città.
La biblioteca contiene oltre diecimila volumi, alcuni dei quali anche di epoca quattrocentesca e cinquecentesca.