La d'Abella era formada pel castell baronial inicial, situat a Abella de la Conca, que n'era capital, i els pobles i llocs de Bóixols, Carreu, la Rua, Sant Romà d'Abella i la Torre d'Eroles. En documents del segle xi apareixen depenent del d'Abella els castells de Sant Romà i de Bóixols. El castell de Sant Romà acollí la residència dels barons d'Abella a partir de la baixa edat mitjana. Es pot observar que, llevat de la població de Sant Romà d'Abella, són els que constitueixen el municipi d'Abella de la Conca. Sant Romà d'Abella havia obtingut independència municipal, que perdé el 1970 en ser integrat en el nou municipi d'Isona i Conca Dellà.
La creació de la baronia d'Abella es deu als successors d'Arnau Mir de Tost: el 1082 ja consta en el seu testament una donació de Guillem, fill d'Arnau Mir, i la seva muller Belisenda a Bernat Berenguer d'Abella, casat amb Eliarda. El 1097 són Guitard de Caboet i el seu fill Guillem, o Guillem Guitard, els qui reben Abella de mans del comte Ermengol d'Urgell. La muller de Guillem de Caboet era Agnès, filla de Bernat Miró, filla de Bernat Berenguer Miró d'Abella, que fou castlà d'Àger.
Els barons d'Abella residiren quasi sempre a Barcelona, i tenien un castlà o castellà destacat a Abella de la Conca. Intervingueren activament en la política catalana, i veiem, per exemple, que Berenguer d'Abella, que apareix retratat en el retaule del Roser d'Abella de la Conca, de Pere Serra, fou decapitat el 1387 a la Plaça de Sant Jaume de Barcelona, acusat de diversos delictes polítics, en temps de Pere III el Cerimoniós.
La baronia es mantingué dins de la família Abella fins que a mitjan segle xvii Rafael de Sobirà, governador de la Vall d'Aran, l'adquirí. El 1660 el batlle, els paers i els consellers d'Àger van vendre la baronia a Gaspar de Portolà. El 1719 la baronia consta com a pertanyent a la senyora Clara de Subirà i Benavent, i el 1747 n'era baró Antoni de Subirà i Many. El 1842 la família Sobirà i Còdol continuava com a titular de la baronia: Antoni de Subirà i Còdol, el seu net Josep Calassanç de Abad, de Subirà i Casades, la filla d'aquest, Agustina Llúcia de Abad i de Subirà, casada amb Francesc Xavier Iglésies.
El 1846 consta com a baró d'Abella Josep de Calassanç de Abad de Subirà i Casades, que havia estat membre de la Diputació de Lleida en el moment de creació d'aquell organisme, i emprengué nombroses iniciatives per tal de fer créixer la població i les rendes de les seves terres senyorials, com el projecte de pantà i el sistema de regadiu que se'n derivava. Fou afusellat per Ramon Cabrera l'any 1849, durant la Segona Guerra Carlina.[1]
BERTRAN I CUDERS, J. Història d'Isona i la Conca Dellà. Tremp: Garsineu Edicions, 2007 (Estudis, 21). ISBN 978-84-96779-17-4
CATALÀ, Pere. "Castell d'Abella, cap de baronia". A: Els castells catalans. Volum VI (2a part). Barcelona, Rafael Dalmau, Editor, 1979. ISBN 84-232-0158-9