Etter foreldrenes tidlige død vokste Legien opp på barnehjem og utdannet seg senere til dreier. Han ble i 1885 medlem av SPD i Frankfurt am Main, og av Hamburger Fachverein der Drechsler (Hamburg fagforening for dreiere) samme år. Han ble senere leder av fagforeningen. I 1889 deltok han i Den andre internasjonalen som senere ble til Sosialistinternasjonalen.[8]
I 1913 ble han den første president for den nystiftede Internationalen Gewerkschaftsbunde som var en forløper til International Trade Union Confederation og i 1919 leder av Allgemeiner Deutscher Gewerkschaftsbund (Den alminnelige tyske fagforening). Legien fremforhandlet med industrilederen Hugo Stinnes mot slutten av første verdenskrig bl.a. forhandlingsrett for fagforeningene og i tillegg åttetimersdag (Stinnes-Legien-avtalen). Legien organiserte i 1920 generalstreiken mot Kappkuppet.
Carl Legien fikk i 1920 tilbud av Friedrich Ebert om å bli regjeringssjef i Tyskland, men han avslo dette. Legien var medlem av Riksdagen fra 1903 til 1920.