Johann Webers far var gendarmeriinspektør. I 1937/38 gikk Weber på det biskoppelige gutteseminaret, og etter dets oppløsning fra 1938 på det akademiske gymnasium i Graz. Som mange andre i hans generasjon ble han imnnnkalt til Wehrmacht i 1943 etter å ha fullført 6. klasse, og i 1945 ble han tildelt skoleavslutningseksamen ved dekret.
I 1945 begynte han å studere tysk, historie og geografi ved Universitetet i Graz, og gikk over til å studere teologi i 1946.
Prest
Han ble presteviet i 1950. Han ble først kapellan i Kapfenberg og fra 1953 kapellan i Köflach. I 1956 bkle han bispedømmesjelesørger for Katholische Arbeiterjugend og i 1962 sogneprest for Graz-St. Andrä. Han arbeidet disse årene iherdig for de fattige og trengende. Han opprettet et hjem for gravide kvinner i nød.
Han begynte raskt å implementere vedtakene fra Det andre Vatikankonsil. Allerede i 1969 opprettet han menighetsråd i sitt bispedømme og i 1970 et bispedømmeråd. I 1970 ga han stilling som pastoralassistent til en lekteolog (en person med fullt fullført teologisk utdannelse, men ikke ordinert til tjenesten) for første gang, og i 1971 utnevnte han ordenssøstre for første gang til utøvende ledelse av en presteløs menighet.[5] I 1975 ordinerte han gifte menn til permanente diakoner. Kardinal Joseph Cardijns tretrinnsprinsipp «se - bedømme - handle», betraktet han som en ledetråd for sitt virke.[4]
På biskop på Webers initiativ, fant i 1981 Katholikentagi Steiermark sted som en feiring av broderlighet.[5] Den 13. september 1983 besøkte pave Johannes Paul II pilegrimsstedet Mariazell i bispedømmet Graz-Seckau som en del av den østerrikske Katholikentag. Andre høydepunkter i Webers bispetid var «den økumeniske dag» i Steiermark i 1993, som også begynte etter hans initiativ, der alle trossamfunn representert i Kirkenes økumeniske råd i Steiermark deltok, i 1996 pilegrimsreisen til mangfold og i 1997 den andre europeiske økumeniske forsamling i Graz. Etableringen av kultursenteret hos minoritenne, Welthaus i Graz, og telefonsjelesorgen (1974) i bispedømmet Graz-Seckau skjedde også i hans tid.
Etter at det dukket opp påstander våren 1995 om at kardinal Hans Hermann Groër hadde misbrukt en tidligere student seksuelt, ønsket Weber å få disse påstandene undersøkt av et «råd av vise menn». Han var ikke i stand til å vinne fremeg med denne ideen, men han erstattet Groër som formann for den østerrikske bispekonferanse den 6. april 1995 og ble i dette vervet til 30. juni 1998. Etter dette var han dens nestleder.
Biskop Weber deltok i en gruppe likesinnede prelater som møttes årlig i januar fra 1995 til 2006 i Sankt Gallen i Sveits for å diskutere reformer med hensyn til utnevnelsen av biskoper, kollegialitet, bispekonferansene, pavens primat, og seksualmoral; de var ikke enige i alt og ethvert men de delte den oppfatning at kardinal Joseph Ratzinger ikke var den slags kandidat de håpet å se valgt ved det neste pavevalget.[6][7]
Han avviste mange av Kirchenvolks-Begehren-aksjonens krav i 1995, men så dette initiativet uansett som en drivkraft for at kirken «ikke skulle sitte stille» og anbefalte også «Dialog für Österreich», som fant sted i oktober 1998 i Salzburg.
Den 14. mai 2001 trakk han seg med pavens approbasjon fra bispedømmet av helsemessige årsaker, et drøyt år før sin 75-årsdag som ellers ville ha vært den forventede grensen Hans etterfølger ble Egon Kapellari, som ledet bispedømmet til 2015. Biskop Weber var en av de medkonsekrerende da Kapellaris etterfølger Wilhelm Krautwaschl den 14. juni 2015 ble bispeviet i katedralen i Graz av erkebiskop Franz Lackner O.F.M. som hovedkonsekrator.[8]
Biskop Weber var aktiv som pastor i St. Leonhard-Kroisbach-Ragnitz menighetsforbund frem til jul 2018. Han bodde på sitt siste på katolsk sykehjem drevet av Dienerinnen Christi[9] i Graz-Andritz, det samme distrikt han ble født i.[4]