El seu pare va treballar a les mines de Silèsia on hi deixar la vida. Orfe de pare, Gierek va emigrar amb la seva mare a França, on el 1931 es va unir al PCF.
El 1937 va passar al Partit Comunista Belga. Dins d'aquest últim va destacar durant la Segona Guerra Mundial com a cap d'un grup anti-nazi de voluntaris polonesos. Va tornar a Polònia el 1948 i va organitzar el Partit Comunista a les zones més industrialitzades del país.
El 1954 va ser nomenat director del Departament d'Indústria Pesant de Polònia, i dos anys després ja era un dels onze membres del Politburó.
Crític amb la fracció promoscovita del Partit, Gierek va promoure una mena de consens nacional, adaptant prudentment les directrius soviètiques a les circumstàncies del país, eludint enfrontaments.
Quan, a finals de 1970, el líder del Partit Władysław Gomułka va anunciar una pujada dels preus dels productes alimentaris i de primera necessitat, van començar les protestes obreres. Gierek va ser llavors (20 de desembre de 1970) elegit Secretari General del Partit, en substitució de Władysław Gomułka, i va prometre al poble una millora de les seves condicions de vida i la revisió de la política econòmica. Es va mantenir fidel al seu concepte reformista.