Ulbricht kwam uit een sociaaldemocratische familie (zowel van vaders- als van moederskant). In 1908 werd hij lid van de Socialistische Arbeidsjeugd (SAJ) en in 1912 van de Sozialdemokratische Partei Deutschlands (SPD). Van 1913 tot 1914 bezocht hij de partijschool in Leipzig. Gedurende de Eerste Wereldoorlog vocht hij aan het front. Hij trad toen toe tot de Unabhängige Sozialdemokratische Partei Deutschlands, een linkse afsplitsing van de SPD. In 1918 werd hij een paar maal veroordeeld tot gevangenisstraffen wegens desertie en het verspreiden van anti-oorlogspropaganda. Tijdens de revolutie van eind 1918 werd hij lid van de Arbeiders- en Soldatenraad (zie sovjet) van het negentiende legerkorps.
Na de Eerste Wereldoorlog keerde hij terug naar Leipzig. Hij sympathiseerde met de pas opgerichte Kommunistische Partei Deutschlands en in 1920 trad hij formeel toe tot de partij. Hij werd leidinggevend in de KPD in Leipzig en in diverse andere Duitse gebieden. Van 1924 tot 1925 bezocht hij de partijhogeschool in Moskou en werd hij medewerker in het Uitvoerend Comité (EKKI) van de Communistische Internationale. Van 1926 tot 1933 was hij lid van de Saksische Landdag en van 1928 tot 1930 was hij lid van de Rijksdag voor de KPD. In 1935 ging hij in ballingschap en vestigde zich in Moskou.
Na de Duitse inval in de Sovjet-Unie werd Ulbricht lid van het Nationaal Comité voor een vrij Duitsland (NKFD), een door de Sovjet-Unie in het leven geroepen en door de communisten gedomineerde antifascistische organisatie. Op 30 april 1945 keerde hij terug naar Duitsland als aanvoerder van de Groep Ulbricht: een groep voormalige functionarissen van de KPD die terugkeerden uit ballingschap in de Sovjet-Unie om het Rode Leger bij te staan bij de wederopbouw van het bestuur van Berlijn en om de oprichting van politieke partij en organisaties voor te bereiden. "Es muss demokratisch aussehen, aber wir müssen alles in der Hand haben" (Het moet er democratisch uitzien, maar wij moeten wel alles in de hand hebben) was een uitspraak van Ulbricht bij de uitvoering van die opdracht, waaraan hij zich nauwgezet hield.[1]
In 1946 regelde Ulbricht in opdracht van de bezetter de fusie tussen de SPD en de KPD in de Sovjet-bezettingszone tot de Sozialistische Einheitspartei Deutschlands (SED). Achter de schermen had hij de touwtjes binnen de partij in handen.
Eerste secretaris van de SED
Bij de oprichting van de DDR in 1949, werd Ulbricht plaatsvervangend voorzitter van de Ministerraad. In feite had hij toen al meer macht dan minister-president Otto Grotewohl, een voormalige sociaaldemocraat.
In 1950 werd de SED op communistische leest gereorganiseerd. Ulbricht werd toen formeel partijleider met de titel "secretaris-generaal van het Centraal Comité van de SED" (in 1953 werd die titel veranderd in "eerste secretaris"). In feite werd hij toen de belangrijkste man van Oost-Duitsland. De onderdrukking van de volksopstand van 1953 versterkte zijn macht nog.
In 1960, werd Ulbricht voorzitter van de Staatsraad van de DDR (en daarmee staatshoofd) en van de Nationale Verdedigingsraad, twee organen die werden opgericht na de dood van president Wilhelm Pieck. Intussen nam de persoonsverheerlijking van Ulbricht steeds toe.
Om een verdere leegloop van de DDR te voorkomen werd in de nacht van 12 op 13 augustus 1961 besloten om op diverse strategische punten in Berlijn, de straten af te zetten met prikkeldraad en militaire voertuigen. Twee dagen later werd begonnen met de betonnen bouw van de Berlijnse Muur. Een bekende uitspraak deed hij tijdens een persconferentie 2 maanden voor de bouw van de muur: "Niemand hat die Absicht, eine Mauer zu errichten".
Ulbricht volgde lange tijd een strikt Moskougetrouwe lijn. Na 1960 begon hij een meer aparte koers te varen op economisch gebied, door meer macht te geven aan wetenschappelijke en technische experts, ten nadele van de partijkaders. Er kwam dan ook verzet binnen de SED tegen die hervormingen. De oppositie kreeg de steun van Sovjet-partijleider Leonid Brezjnev, die zich ergerde aan Ulbrichts aanmatigende toon. Ulbricht begon Oost-Duitsland (en zichzelf) meer en meer te zien als een voorbeeld voor de andere socialistische landen, inclusief de Sovjet-Unie.
Val
Begin 1971 was de oppositie tegen Ulbricht binnen de SED zo toegenomen dat een meerderheid van het Politburo zijn vertrek wilde. Dit voornemen kreeg de steun van Brezjnev en eind april vertelde de nummer twee van de partij, Erich Honecker, dat hij moest opstappen in omstandigheden die aan een staatsgreep deden denken.
Op 3 mei 1971 maakte Ulbricht aan het Centraal Comité van de SED bekend dat hij "wegens gezondheidsredenen" aftrad als eerste secretaris en als voorzitter van de Nationale Verdedigingsraad. In beide functies werd hij opgevolgd door Honecker. Ulbricht bleef wel voorzitter van de Staatsraad - een functie zonder echte macht - en kreeg de speciaal voor hem gecreëerde eretitel van voorzitter van de SED .[2] Hij bleef in die rol tot zijn overlijden op tachtigjarige leeftijd.
De bijnaam van Ulbricht was "Spitzbart" ("sik"), vanwege zijn baardje. Ulbricht gebruikte in zijn redevoeringen te pas en te onpas het vragende stopwoord "ja?". Dit, zijn "nu, nu" (een Saksische instemmingsfrase), zijn hoge stemgeluid en zijn Leipziger dialect werden vaak geïmiteerd.