Les notícies sobre el passat de Cartajima són en part confuses, i difícilment es poden confirmar. Diego Amaya, un ancià de la població, quan s'estaven fent uns fonaments a Les Peñuelas van aparèixer uns sepulcres amb restes humanes, i al costat d'ells, en la part que va descansar el cap, algunes monedes. Aquest esdeveniment ve recollit en una crònica del poble. És possible un soterrament de l'època fenohel·lènica. Podem trobar també termes i necròpolis romana en el Cortijo del Ratón i restes de calçades romanes, de la que comunicava Ronda amb Cadis, passant per Cartajima, i altres de menys entitat que podrien servir com camí per a treure ferro de des de les mines de la muntanya cap a la població.
El nom de "cartajima" d'origen àrab-tagmazib, AL-Z'jaima (el lloc de l'altura, segons conta un rifeny). En els primers textos cristians apareix com Xaritalxime. És el poble situat a major altura en tota la comarca, pel que coincideix amb el seu emplaçament. Tenim el nom de diverses zones i finques, que tenen noms d'origen àrab com Benahayón, Benajeriz, Benahazín, Benajanná, Benajarín.
Conquistada Ronda pels Reis Catòlics i rendits els altres pobles, Cartajima va seguir habitada per abundant població morisca (que seguien amb els seus ritus religiosos) i van sofrir la persecució i processos judicials de part del Sant Ofici al llarg del segle xvi. Sobretot per les costum musulmanes del dejuni i de sacrificar als animals degollant-los, per a dessagnar-los, i aquesta labor solament la podia realitzar un santó baró circumcidat que realitzés tots els resos diaris, com mana l'Alcorà.
El cultiu de les vinyes, que es va mantenir vigorós fins a finals del segle xix, quan l'epidèmia de fil·loxera va acabar amb les vinyes de tota la comarca. Aquesta prosperitat econòmica del xviii va fer que en aquest poble florissin oficis més especialitzats. Consta que unes de les portes en fusta de castanyer tallada de l'església de Gaucín van ser fetes en Cartajima per un mestre fuster que havia de gaudir de molta estima en la zona com per a rebre encàrrecs des de tan lluny. En el Cens de Floridablanca Cartajima presentava peculiaritats que la feien una de les poblacions més pròsperes d'aquestes valls, que disposen de metge i notari, oficis desconeguts en gairebé tots els pobles restants, i amb un nombre d'habitants proper als 1.500 que mai ha estat superat. Durant la Guerra de la Independència, Cartajima es va distingir en la lluita contra les tropes napoleòniques, especialment el guerriller Andrés García, que compta entre les seves fites l'atemptat contra el governador de Ronda, que va morir quan passejava amb el seu escorta pel Tajo. En 1814 Cartajima va ser nomenada vila per Ferran VII Aquesta situació d'esplendor li va merèixer la denominació del " Cadis el Chico ".
