La Colònia La Fàbrica es comença a construir l'any 1905 i s'inaugura un any més tard per a l'emplaçament de la fàbrica de filats Viuda de Tolrà i els edificis que configuren el conjunt arquitectònic de la colònia, d'un marcat
caràcter noucentista amb reminiscències modernistes i neobarroques.
L'any 1922 Pericas, Boixeda i cia. compra la fàbrica i la colònia es dedica en exclusiva a la filatura del cotó. Esdevé llavors un dels complexos tèxtils més importants de Catalunya i la tercera fàbrica en importància a tot l'estat espanyol pel que fa als seus nivells de producció.
Durant la guerra civil la fàbrica es tanca i col·lectivitza per fer-la servir com a seu de l'onzè batalló de l'exèrcit republicà. Després d'aquesta guerra, l'any 1945 es dissol la societat propietària i Boixeda es fa càrrec de l'empresa tèxtil amb el nou nom de Hilaturas del Segre, S.A. És l'època en què la colònia compta amb un major nombre de treballadors, arribant a la xifra de 320 empleats.
L'any 1967, malgrat els plans de viabilitat encarregats per Miquel Coll i Alentorn, gerent de l'empresa aleshores, la crisi general del sector tèxtil i la manca d'inversions porta a la fàbrica a aturar la seva activitat i tancar. La colònia resta abandonada durant trenta anys fins que, després de la compra de les diferents edificacions per part de particulars i la rehabilitació dels edificis l'any 1997, recupera població i reprèn la seva activitat industrial i agrícola.
Flora
La Colònia la Fàbrica presenta una concentració d'arbrat singular dins el territori que l'envolta. En destaquen tres tipus:
Els Populus deltoides, uns pollancres centenaris importats dels Estats Units d'Amèrica per ombrejar el passeig que condueix des de l'entrada fins a l'edifici de la Fàbrica i que són el darrer testimoni viu del naixement de la colònia
Els til·lers, situats al davant dels antics edificis dels treballadors, que donen nom al passeig que els voregen
