Regressou à Alemanha em 1921, onde foi eleito deputado comunista ao Parlamento da Prússia (1921-1928) e do Reichstag (1928-1933). Após a tomada de poder pelos nazistas do NSDAP, fugiu novamente do país, nesta ocasião para Paris, desde onde se deslocou para a União Soviética em 1939. Durante o exílio, teve responsabilidades na Internacional Comunista e foi eleito secretário geral do KPD em 1935. Ademais, durante a Segunda Guerra Mundial, presidiu ao Comitê Nacional por uma Alemanha Livre (NKFD), organismo impulsionado pelos comunistas com o fim de agrupar toda a oposição ao nazismo.[2]
Depois da vitória aliada na guerra em maio de 1945 e da consequente queda do NSDAP, Pieck regressou à área alemã controlada pela URSS e dirigiu a fusão do KPD e do SPD na RDA. A fusão deu origem ao Partido Socialista Unificado da Alemanha (SED), do que Pieck foi eleito secretário geral em 1945, compartindo o secretariado com o social-democrata Otto Grotewohl.[2]
Em 1949, com a constituição da RDA, foi eleito o seu primeiro e único chefe de Estado, posto que ocupou até à sua morte em 1960. Antes, em 1950, cedeu a secretaria geral a Walter Ulbricht.[2]