Josef Pühringer studerede retsvidenskab på universitetet i Linz og blev uddannet derfra i 1970. I 1976 blev han ophøjet til doktor i det samme fag. Mens han studerede arbejdede han som religionslærer i Traun.
Hans politiske karriere begyndte i 1973 i byrådet i hans hjemby. Fra 1981 var han desuden bypartiformand for ÖVP og fra november 1985 til april 1988 havde han posten som viceborgmester. Fra 1979 havde Pühringer et mandat i Oberösterreichs landdag og fra årsskiftet 86/87 var han ÖVP-partisekretær. I 1987 nåede han en position som fagminister i delstatsregeringen.
Siden d. 11. februar 1995 har Josef Pühringer været partiformand for ÖVP på delstatsplan og siden 2003 har han stået i spidsen for en såkaldt sort-grøn koalition, hvilket vil sige en koalition mellem det konservative ÖVP og det grønne parti.