La prima apparizione documentata di Castelsarrasin risale al 961, anno nel quale fu citato nel testamento di Raymond II de Rouergue col nome di Castel Sarracenum; tale nome rimanderebbe però a castello edificato alla maniera saracena in quanto non si hanno notizie di contributi arabi alla fondazione della città.
L'epoca bassomedioevale è, per Castelsarrasin, periodo di guerre e pestilenze: dapprima il conflitto contro gli inglesi nel secolo XII, poi la Crociata contro gli Albigesi e la Crociata dei pastori, seguite dalla Peste Nera del 1348 ed infine dalla guerra dei cent'anni. L'insieme di questi fattori impedì al borgo, che aveva redatto un proprio codice di leggi nel 1230, di svilupparsi.
Durante le Guerre di religione francesi, Castelsarrasin fu cattolica, sebbene circondata da città protestanti. La chiesa di Saint-Sauveur è uno dei pochi templi cattolici del circondario a salvarsi dalle distruzioni belliche.
Nel 1658 nacque nelle campagne del paese Antoine Laumet-Cadillac, esploratore francese nel Nuovo Mondo, fondatore di Detroit, poi governatore francese della Louisiana ed infine, tornato in Europa, di Castelsarrasin stessa. Il marchio di auto Cadillac prodotto a partire dai primi anni del secolo XX porta tale nome in suo onore.
Nel 1850 la città contava circa 7 000 abitanti ed iniziò ad espandersi con l'installazione di alcune industrie, di una caserma e con l'arrivo della ferrovia.
Durante la primavera del 1944 parte del IV SS-Panzer-Regiment Der Führer, responsabile del successivo massacro di Oradour-sur-Glane, era di stanza in città.
.svg)
