Han kom fra en katolsk familie. Han ble presteviet 18. mars1939, og ble sendt til Roma for videre studier. Han kom tilbake til Kina kort før den kommunistiske seier under den kinesiske borgerkrig, og ble assistent til belgiskfødte biskop Leo De Smedt av Xiwanzi.
Pave Pius XII utnevnte ham til biskop De Smedts koadjutorbiskop den 3. november1949, og De Smedt bispeviet ham 24. mai1951. Noen uker etter ble biskop DeSmedt arrestert. Han ble syk og døde i fangenskap den 24. november samme år. Dermed rykket biskop Zhang inn automatisk som ny ordinarius. Men straks etter ble han selv arrestert og dømt til fem års fengsel.[trenger referanse]
Kort før den kinesiske regjering ansporte til grunnleggelsen av den kinesiske patriotiske katolske forening i 1957 for å fremme «patriotisme» innen Kinas katolske kirke under autonom ledelse, slapp biskop Zhang ut etter endt soning, og han vendte straks tilbake til sitt bispedømme.[trenger referanse] Men ettersom han offentlig forbød sine prester og sogneparn å tilslutte seg den patriotiske forening, ble han umiddelbart arrestert på nytt.[trenger referanse] Denne gangen ble han ilagt livstidsdom.
Samtidig omorganiserte den regimetro patriotiske bevegelse bispedømmet Xiwanzi ved å sammenslå det med to andre bispedømmer til et helt nytt bispedømme.
Biskop Zhang satt først fengslet i Shijiazhuang, og ble så overført til et fengsel i Baoding, hvorfra han ble løslatt i mars 1985.
Etter løslatelsen bodde han i Xuanhua hos sin yngre søster.
Mens han satt fengslet i Baoding ble han bedt av regjeringen om å utføre oversettelsesarbeid, og på ett tidspunkt samarbeidet han da med pater Aloysius Jin Luxian, som senere ble «patriotisk» biskop av Shanghai.
Ettersom biskop Zhang etter løslatelsen nektet å samarbeide med de regimestøttede kirkelige strukturer, gikk han i lange perioder uten noen lønn eller pensjon.[trenger referanse]
