Josef Zimmermanns fødested Langwied var den gang en liten landsby vest for München. Han var bondesønn. Etter gynmnasiet studerte han teologi.
Prest
Han ble presteviet for hjembispedømmet Augsburg den 31. oktober 1926. I perioden som fulgte virket han i forskjellige menigheter, blant annet i Kissing prestegjeld, hvis bombardering Josef Zimmermann var i stand til å forhindre gjennom forhandlinger med de allierte styrker.
Teolog
I to skrifter i 1941 og 1949 la han frem tesen om at Den Hellige Ånds indre-guddommelige forhold til Faderen og Sønnen også lett kan forklares for enkle troende:
«Eros og Amor er maskulina, Agape og Caritas feminina. Kunne vi få benytte disse to polare aktiviteter som spiller en så stor rolle i menneskelivet for å illustrere det indre, guddommelige liv? Vi kan det, for 'Gud skapte mennesket i sitt eget bilde. I Guds bilde skapte han det. Til mann og kvinne skapte han det.' Hvorfor skulle vi ikke kunne lese fra denne setningen at mennesket er et bilde på Gud, ikke bare som en enkeltperson eller bare som mann, men nettopp at det egenartede ved med menneskets seksuelle dualitet også som et avbilde av Gud? Vi gjør ikke mennesket til Guds målestokk, men prøver å tolke menneskets gåte ut fra det evige, uendelige som den opprinnelige kilde og alt livs fylde» (1949, 47).[2]
Ved å kalle Guds Hellige Ånds kraft kvinnelig, var han den første som introduserte begrepet gudinne i katolsk tankegang i denne kontekst, offentlig uimotsagt på den tid fordi det revolusjonerende ikke ble lagt merke til, og senere såvel, fordi hans teologi var ukjent for dem som begynte å utvikle feministisk teologi. Han bodde i Collegium Germanicum under Det andre Vatikankonsil og delte sine teologiske tanker videre i mange samtaler.
Hjelpebiskop i Augsburg
Den 28. november 1952 ble Josef Zimmermann utnevnt av pave Pius XIII til hjelpebiskop i bispedømmet Augsburg og til titulærbiskop av Cerynia. Hans bispevielse fant sted 25. januar 1953 og ble foretatt av biskop Joseph Freundorfer av Augsburg. Medkonsekratorer var hjelpebiskopene Johannes Neuhäusler fra München og Artur Michael Landgraf fra Bamberg.
Det andre Vatikankonsil fant sted mens Josef Zimmermann var aktiv biskop. Som deltaker på alle fire sesjonene var han en av biskopene som kunne oppleve og være med på å forme hele konsilet. Josef Zimmermann kan regnes til de progressive krefters leir, dem som gikk inn for reform og åpning av kirken, noe man kan lese av dagboknotatene hans. Han skrev disse for Augsburger Kirchenzeitung; senere ble de utgitt som en bok (tittel: «Erlebtes Konzil»).
1. mars 1972 innvilget pave Paul VI den nå 71 år gamle Josef Zimmermanns avskjedssøknad. Den 29. desember 1976 døde Josef Zimmermann i Augsburg i en alder av nesten 76 år, og ble gravlagt noen dager etter fra katedralen i Augsburg.
^Eros und Amor sind Maskulina, Agape und Caritas Feminina. Dürfen wir diese beiden polaren Tätigkeiten um das Gute, die im Menschenleben eine so große Rolle spielen, auf das innergöttliche Leben anwenden? Wir dürfen es, denn 'Gott schuf den Menschen als sein Bild. Als Gottes Bild schuf er ihn. Er schuf sie als Mann und als Weib.' Warum dürften wir aus diesem Satz nicht herauslesen, daß der Mensch nicht bloß als Einzelperson oder gar nur als Mann, sondern gerade in der Eigenart seiner geschlechtlichen Zweieinheit ein Abbild Gottes ist? Wir machen ja nicht den Menschen zum Maßstab Gottes, sondern suchen vom Ewigen, Unendlichen als vom Urquell und der Fülle allen Lebens her das Rätsel des Menschen zu deuten.