En 1922, avec Theodor Liebknecht et Georg Ledebour, il est l'un des opposants les plus connus à la fusion de l'USPD et du SPD, mais contrairement à Liebknecht et Ledebour, Rosenfeld rejoint la social-démocratie. Avec Paul Levi et Max Seydewitz, Rosenfeld est l'un des principaux représentants de la fraction gauche du SPD, à la fois dans le parti et au Reichstag. À partir de 1927, il collabore à Klassenkampf, la revue théorique de la gauche marxiste du SPD. Rosenfeld défend à cette époque le journaliste Carl von Ossietzky en tant qu'avocat, notamment dans le procès de la Weltbühne en 1931.
En septembre 1931, il est exclu du SPD pour manquement à la discipline de parti, à cause d'un vote au Reichstag. En collaboration avec Seydewitz, il est le fondateur et jusqu'en 1933 coprésident du nouveau parti Parti socialiste ouvrier d'Allemagne. Au printemps 1933, Rosenfeld quitte le SAPD et appelle ses adhérents à rejoindre le Parti communiste d'Allemagne. La même année, il fonde l'agence de presse antifasciste Agence Impress à Paris. Après l'incendie du Reichstag, il émigre d'abord en France, puis aux États-Unis, où il publie le magazine d'exilThe German-American avec Gerhart Eisler, devient président de la Conférence germano-américaine d'urgence et s'efforce de promouvoir l'union de tous les opposants allemands et germanophones d'Hitler sur le continent américain. À partir de 1943, il est membre du conseil d'honneur du Comité latino-américain des Allemands libres[4]. En même temps, il continue à travailler comme avocat, jusqu'à sa mort fin 1943.