La regione del Quercy è abitata da circa 40 000 anni, come testimoniato da numerosi ritrovamenti archeologici nelle grotte della valle del Célé. La zona fu in seguito occupata dalla popolazione gallica dei Cadurci ed uno dei loro centri abitati fu chiamato dai Romani, sopraggiunti al seguito di Cesare, con gli appellativi di Divona Cadurcorum o Civitas Cadurcorum, nome che si contrarrà in Cadurcum e poi nel moderno Cahors.
La città gallo-romana fu fiorente, rifornita da un acquedotto, munita di un teatro in grado di ospitare circa 6000 spettatori, numerosi templi (le rovine di uno dei quali si trovano sotto al moderno ospedale), un anfiteatro, delle terme e numerose ville private. È documentata l'esportazione di stoffe e vini sin dal I secolo d.C.
Durante il periodo altomedioevale la città fu saccheggiata più volte: nel 571 da Teodoberto I d'Austrasia, dai Saraceni nel 732, poi dai Vichinghi e, all'inizio del secolo X, dagli Ungari. I numerosi saccheggi portarono alla completa distruzione della città gallo-romana, della quale oggi non restano che rovine, scoperte in seguito a vari lavori effettuati nel secolo XX (parcheggi, ospedali..). La prima chiesa cattedrale di Cahors venne consacrata nel 650.
Nel 1838 nacque a Cahors Léon Gambetta, futuro presidente del consiglio dei ministri e fra le maggiori personalità politiche della Terza Repubblica.
Dalla seconda guerra mondiale in poi, Cahors è stata amministrata prevalentemente (ma non esclusivamente) da giunte di sinistra; in particolare dal 1965 al 1989 da quella di Maurice Faure, già segretario di stato agli affari esteri e cofirmatario per conto della Francia (assieme a Christian Pineau) del Trattato di Roma del 1957.
^Federico Faloppa, Parole contro: la rappresentazione del "diverso" nella lingua italiana e nei dialetti, Garzanti, Milano, 2004, ISBN 978-88-11-59740-7 p.25. Cit.:«Caorsin (Caorsino, Caorcino [..]) "abitante di Cahors", cittadina provenzale dove i "lombardi" fondarono le prime banche, non tardarono a valere tout court "usuraio". Con questo significato, anzi, "caorsino" si diffuse a tal punto nell'immaginario comune che Caorsa divenne, per antonomasia, città dell'usura.». Cfr. Revue des sociétés savantes de la France et de l'étranger, Bulletin des sociétés savantes, missions scientifiques et littéraires, Ministère de l'instruction publique, 1861, p.788 cit.: «Adrien de Valois et Muratori [..] soutiennent que les Caorcins sont originaires de l'ltalie, qui, comme on sait, a été, au moyen âge, la principale patrie des marchands d'argent. Il est certain, en effet, que la ville de Caorsa et ses environs ont possédé jadis beaucoup de banquiers; mais ce fait, non plus que la forme du nom, ne peuvent être opposés aux partisans-je l'origine cadurcieune des Caorcins, puisque le nom de Cahors, Caorsa ou Caours, donne le même tiéfivé, et puisque, comme on le verra tout à l'heure, Cahors, comme Caorsa, a été renommée pour l'abondance et la prospérité de ses maisons de banque. Des témoignages tirés des commentaires de la Divine Comédie du Dante, mettent tout à fait (Caorsa hors de concours). [...] M. Depping, dans une dissertation spéciale (h) et dans son Essai sur les Juifs nu moyen âge (5), a appuyé l'origine italienne des Caorcins, en expliquant leur dénomination par celle de la ville de Caorsa, en Piémont, "qui abondait autrefois en usuriers renommés". [...] Les Caorsins ont eu l'ltalie pour patrie, ou s'ils sont Français et la ville de Cahors leur a donné son nom.»