Han ble medlem av det sosialdemokratiske partiet i 1895. Fra 1904 til 1919 var han medlem av bystyret i Breslau, og fra 1915 til 1920 provinsiallanddagen i Schlesien. I juni 1919 ble han visepresident for Riksdagen. Han var medlem av den tyske Riksdagen fra 1920 til 1933, og var riksdagspresident fra 1920 til 1924 og fra 1925 til 1932. Deretter var han visepresident frem til 1933. Han var også prøyssisk statsråd fra 1921. Han var medlem av det parlamentariske råd fra 1948 og fra 1949 til 1953 var han medlem av Forbundsdagen, som representant for Berlin uten stemmerett. I den første legislaturperioden var han Forbundsdagens alderspresident. Han er den tidligst fødte personen som har vært medlem av Forbundsdagen.
I 1920-årene engasjerte Löbe seg for den paneuropeiske idéen sammen med bl.a. Aristide Briand og Konrad Adenauer. Löbe var president for Den paneuropeiske unionen i Tyskland. Han var også medlem av Reichsbanner Schwarz-Rot-Gold. På grunn av sin opposisjonelle holdning ble han fengslet av nasjonalsosialistene flere ganger, og satt bl.a. i konsentrasjonsleir. Etter krigen deltok han i arbeidet med å bygge opp igjen SPD, og avviste på det sterkeste tvangssammenslåingen av SPD og KPD i den sovjetiske okkupasjonssonen. Han avsluttet derfor samarbeidet med SPD i Øst-Berlin for isteden å bygge opp partiet i Vest-Berlin. Han var også president for Europabevegelsen i Tyskland. Löbe engasjerte seg også for ofrene for fordrivelsen fra østområdene, og gikk sterkt inn for et samlet Tyskland.
Etter Friedrich Eberts død i 1925 takket Löbe nei til å bli nominert som SPDs presidentkandidat ved det nye presidentvalget, fordi han mente hans plass var i parlamentet.
Æresbevisninger
Löbe mottok i 1951 storkorset av Tysklands fortjenstorden, og ble i 1955 utnevnt til æresborger av Berlin. Han mottok også Bund der Vertriebenens høyeste utmerkelse, og i 1960 tildelte Berlins senat ham Ernst Reuter-plaketten. Et tilbygg til Riksdagsbygningen i Berlin kalt Paul-Löbe-Haus, er oppkalt etter ham.
