Det første Folkets Hus i Oslo ble bygget på Youngsbakken i 1907, etter tegninger av Harald Olsen. Dette ble Olsens siste større arbeid, og var et typisk senhistoristisk bygg i nyrenessanse. Allerede i 1914 ble Folkets Hus bygget ut, nå ved arkitekt Karl Høie.
I 1911 ble naboeiendommene til Folkets Hus kjøpt opp, med tanke på fremtidige utbygginger. I 1938 fikk man en generalplan for kvartalet, og et utkast til nytt bygg ble tegnet av Knut Knutsen. På grunn av andre verdenskrig måtte planene utsettes, og byggingen startet ikke før i 1954. Det nye bygget sto ferdig i 1962, etter store budsjettoverskridelser. Det opprinnelige utkastet estimerte en byggekostnad på fem millioner kroner, men regningen ble tilslutt på nærmere 26 millioner. For å finansiere utbyggingen ble det derfor innført en ekstraavgift på 25 øre uken for fagorganiserte.