Herrnstadt adhère au Parti communiste d'Allemagne à la fin des années 1920. Il travaille déjà pour le renseignement militaire soviétique à cette époque, activité qu'il poursuit en Pologne, dans les Pays baltes, puis dans diverses missions pour l'Armée rouge.
Sous la république de Weimar, il est également correspondant du Berliner Tageblatt[1]. Après la guerre, il est rédacteur en chef du Berliner Zeitung et un des cofondateurs du journal du parti Neues Deutschland dont il devient aussi rédacteur en chef en 1949[2]. Son ascension se traduit aussi par sa nomination au Comité central du parti en 1950 et à son appartenance à la Chambre du peuple provisoire.
Après la mort de Staline, des tensions s'élèvent au sein du SED. Herrnstadt et Zaisser, ministre de la Stasi, appartiennent à une fraction hostile au dirigeant Ulbricht, premier secrétaire du parti. Après l'insurrection du 17 juin 1953, ils projettent de le remplacer à la direction du parti afin d'infléchir la politique intérieure et extérieure de la RDA. Cependant, l'insurrection vient contrecarrer ces projets en ce qu'elle renforce l'autorité d'Ulbricht[3], partisan d'une ligne répressive face aux manifestants. De plus, l'arrestation de Lavrenti Beria en Union Soviétique prive Zaisser et Herrnstadt de leurs soutiens, les nouveaux dirigeants soviétiques préférant jouer la carte Ulbricht au vu des troubles de juin 1953. Herrnstadt est démis de ses fonctions dès 1953 puis exclu du SED.