Il padre di Jouhaux lavorava in una fabbrica di fiammiferi ad Aubervilliers. Quando le entrate della famiglia furono messe in discussione a causa di uno sciopero, Jouhaux lasciò la scuola secondaria. Iniziò a lavorare presso la fabbrica all'età di sedici anni e presto divenne un membro importante del sindacato. Nel 1900 prese parte ad uno sciopero contro l'uso del fosforo bianco che aveva accecato suo padre. Fu, così, licenziato e, in seguito, cambiò vari posti di lavoro fino a quando il sindacato riuscì a farlo riassumere.
Nel 1906, fu eletto dall'unione locale come rappresentante presso la Confédération générale du travail, dove scalò presto le posizioni dirigenziali. Dal 1909 divenne tesoriere ad interim, e poco dopo (il 12 luglio dello stesso anno) fu nominato segretario generale dell'organizzazione. Restò in carica fino al 1947. Il lungo periodo di permanenza al vertice dell'organizzazione gli valse il soprannome di "generale". I suoi obiettivi sindacali erano quelli classici dei primi movimenti di lavoratori: la giornata lavorativa di otto ore, il diritto ad essere rappresentati dai sindacati, la contrattazione collettiva e le ferie pagate. Durante il governo del Fronte Popolare, fu fra i firmatari degli Accordi di Matignon del 1936, che prevedevano la concessione di molti di questi diritti ai lavoratori francesi.[2]
Negli anni che precedettero la seconda guerra mondiale, organizzò molte manifestazioni di protesta, anche contro la guerra. Iniziata la guerra, Jouhaux supportò il suo paese, convinto che una vittoria della Germania nazista avrebbe portato alla distruzione della democrazia in Europa. Durante la guerra, fu arrestato e internato nel campo di concentramento di Buchenwald.
Dopo la guerra, lasciò la CGT per dar vita a Force Ouvrière (Forza Operaia), un sindacato di ispirazione socialdemocratica, in risposta alla sempre maggiore influenza esercitata dal Partito Comunista Francese sulla Confederazione Generale.
