KPÖ została oficjalnie założona w dniu 3 listopada 1918. Pierwszą czynnością nowo założonej partii było wtargnięcie na msze przy okazji proklamowania Republiki Austrii w dniu 12 listopada. Komuniści rozwinęli w parlamencie transparent z hasłem "Niech żyje Republika Socjalistyczna!"[1]. Próba utworzenia "Republiki Rad" nie powiodła się. "Czerwona Gwardia" (Rote Garde) będąca paramilitarnym skrzydłem partii, została wkrótce włączona w struktury armii narodowej. W dniu 12 listopada 1918 doszło do próby komunistycznego zamachu stanu, który nie był profesjonalnie zorganizowana. W ciągu kilku godzin, zamach został rozbity, zamach nie był uzgodniony z bolszewikami[1].
KPO zainicjowała powstanie robotnicze z 12 lutego 1934, była to próba ratowania demokracji przed faszyzmu z zamiarem zastąpienia jej republiką komunistyczną. Po klęsce powstania nazwanego później lutowym, liczba członków KPÖ gwałtownie wzrosła z 4000 do 16000 członków.
Pod koniec 1930 austriacki komunista Alfred Klahr po raz pierwszy wysnuł tezę "narodu austriackiego". Biuro Polityczne Komunistycznej Partii zdecydowało się na początku 1937 roku rozpocząć debatę na temat kwestii narodowej w Austrii. Było to w czasie, gdy socjaldemokraci austriaccy uważali przynależność Austriaków do narodu niemieckiego za sprawę oczywistą[3].
Po przyłączeniu Austrii do Rzeszy Niemieckiej w marcu 1938 roku, KPO podjęła gotowość do walki z nazistami. W okresie nazistowskim odegrała znaczącą rolę w austriackim ruchu oporu. Komuniści walczyli ramię w ramię z niektórymi byłymi przeciwnikami politycznymi (między innymi chadecy) Wielu działaczy partii uczestniczyło w misjach jako wolontariusze w innych krajach, między innymi podczas wojny domowej w Hiszpanii. W ramach paktu Hitler-Stalin duża liczba austriackich komunistów ze Związku Radzieckiego została odesłana do Niemiec, w tym Franz Koritschoner i inni współzałożyciele partii.
Po wojnie
Plakat partii z 2011
Po odrodzeniu niezależnej Austrii, partia odrzuciła plan Marshalla mimo tego komuniści uczestniczyli w powojennym rządzie. W pierwszych wolnych wyborach parlamentarnych 25 listopada 1945 partia zdobyła tylko 174 257 głosów, (5,42%) i zdobyła cztery mandaty w parlamencie. W niektórych przemysłowych i górniczych społecznościach KPÖ zdobył więcej niż 30% głosów. W słoweńskojęzycznych obszarach Karyntii, udziały KPÖ były wyższe.
KPÖ stała na czele wielkiego strajku 26 września październiku 1950 roku. Pod koniec lat 50. wielu członków wycofało się z aktywnej działalności. W wyborach krajowych w 1959 partia uzyskała 142 578 głosów (3,27%). Od 150 000 członków w pierwszych latach powojennych, partia skurczyła się do 36 400 (1965) i 20 000 (1974). Obecnie liczy 2000 członków. Partia publikuje Argument. Młodzieżówką partii jest Junge Linke (Młoda Lewica).
