Á morte do seu pai (714), Carlos, que xa tiña 29 anos, pasou a ocupar a praza de mordomo de palacio. Pero como era bastardo, Plectrude, esposa de Pipino, instigou para botalo do poder a fin de que o ostentase o seu fillo Teodebaldo, que contaba entón seis anos e era o herdeiro lexítimo. Carlos foi encarcerado.
Con todo, diversas provincias do reino non aceptaban que unha muller as gobernase e as revoltas empezaron a estalar, primeiro Neustria en 715, cando Raxenfrido -mordomo do palacio de Neustria- venceu a Teodebaldo no bosque de Cuise e conduciu ás súas tropas ata as proximidades de Meuse. O norte de Italia sublévase despois e adhírese a Neustria; ségueno Saxonia e Austrasia.
Nese momento Carlos evádese do cárcere (715) e ponse á fronte das revoltas de Austrasia. En primeiro lugar ten que enfrontarse aos neustrianos e sairá victorioso en dúas batallas: Amblève (716) e Vichy (21 de marzo de 717). Entón diríxese a Colonia, onde reside Plectrude co seu fillo, a quen non lle queda máis remedio que recoñecer a derrota e deixar o poder de Austrasia en mans de Carlos.
Pacificación do reino franco
Unha vez no poder, Carlos instala no trono a Clotario IV, destronando a Khilperico II, e repudia ao bispo de Reims, Rigoberto, favorábel a Plectrude. Aos poucos retoma o control de todo o reino franco, vencendo primeiro a Raxenfrido, o mordomo de palacio de Neustria, despois a Odón, duque de Aquitania. Para reunificar o reino franco deberá combater de novo con Neustria ata sometela definitivamente tras a derrota na batalla de Soissons. Quere, así mesmo, reconquistar a fronteira leste do reino; de 720 a 738 conquista Austria e o sur de Alemaña. Deste xeito quedará restablecido o reino franco como estaba baixo o reinado de Pipino de Heristal.
Tras a morte de Clotario IV, verase obrigado a repor no trono a Khilperico II. Cando este falece en 721, Carlos vai buscar, entón, ao mosteiro de Chelles ao fillo de Dagoberto III, Teodorico IV, e instálao no trono.
En 732 Martel ten que facer fronte aos exércitos musulmáns do gobernador de Al-Andalus, Abderramán. A Península Ibérica estaba ocupada polos árabes e os seus aliados os bérberes desde o 711, que continuaban o seu avance cara ao norte cruzando os Pireneos. En 725 conquistaran xa o Languedoc e gran parte da Borgoña actual e intentaban chegar ao centro do territorio franco. A intervención do duque de Aquitania, Odón, puido deter en 721 o primeiro embate en Tolosa e, aliándose co gobernador bérber de Septimania, Munuza, conseguiu que os musulmáns se retirasen a Hispania. Odón ofrécelle a súa filla en matrimonio a Munuza, pero este morre nun enfrontamento co gobernador de Hispania, Abderramán, que, enfurecido, lanza unha expedición punitiva contra Aquitania. En 732 comeza unha importante ofensiva a través da fronteira, co fin, entre outros, de tomar o santuario de San Martín de Tours.
O duque Odón non pode facer fronte el só a esta acometida e solicita a axuda de Martel. O 19 de outubro de 732 ambas as forzas reúnense en Moussais (actual departamento de Vienne), entre Tours e Poitiers. O exército franco comandado por Carlos Martel contaba cunha infantaría veterana de entre 15.000 e 75.000 homes. En resposta á invasión musulmá, os francos evitaran as antigas vías romanas, esperando coller desprevidos aos invasores. Segundo as crónicas musulmás da batalla, os árabes foron sorprendidos ao atoparse cunhas forzas tan importantes que se opuñan ao saqueo previsto de Tours e esperaron seis días mentres vixiaban ao inimigo. O sétimo día o exército musulmán de 60.000 a 400.000 homes, a cuxo fronte ía Abderramán, lanzouse ao ataque. Os francos derrotaron ao exército islámico e o emir morreu. Tras a morte de Abderramán, xurdiron os conflitos entre os xenerais sobreviventes e os árabes abandonaron o campo de batalla ao día seguinte, emprendendo o camiño de retorno. Segundo algúns autores, Carlos foi alcumado Carlos Martel tras esta vitoria, dado que machucara ás tropas mahometanas, cal un martelo (o martelo era unha arma de combate). Segundo outros autores, aproveitando a debilidade do duque Odón, amparouse nos bispados do Loira e baixou ata o sur, saqueándoo a conciencia e matando todos os xefes musulmáns que residían alí desde había tempo. Suponse que é entón cando lle dan o sobrenome de Martelo. En todo caso, é un apelativo que lle dá prestixio e tempera a posibles inimigos, e que contribuíu, en gran medida, á creación do mito de Carlos Martel.
As tropas musulmás non son vencidas en todas as frontes. Toman Aviñón e Arles e en 735 atacan a Borgoña. Moitos señores borgoñóns pactan cos árabes. Carlos Martel obrígaos a se retiraren ao val do Ródano en 736, conquista Aviñón en 737 co seu irmán Khildebrando, pero non consegue Narbona. Alíase cos longobardos para reconquistar a Provenza. Todos os señores que colaboraran cos árabes son castigados e os seus bens repartidos entre os guerreiros francos. Aos árabes xa só lles queda Narbona. Estas batallas contribuíron a unificar o reino franco ao redor de Carlos Martel.
Creación da liña carolinxia
Á morte de Teodorico IV (737), Carlos, afianzado no seu gran poder, decide non escoller sucesor ningún, asume todo o poder do reino franco e reina, ilegalmente, ata a súa morte.
Carlos Martel morreu o 22 de outubro de 741 en Quierzy. Foi enterrado na basílica de San Denis.
Aínda que non obtivo xamais o título de rei, a pesar de ter máis poder que os soberanos francos da época, a dinastía merovinxia estaba nese momento en plena decadencia. O seu poder marcou as primeiras bases da liña carolinxia, confirmada pola consagración de Pipino o Breve o 28 de xullo de 754.
