Ziereis syntyi MünchenissäSaksassa. Hänen isänsä oli ajuri ja sai surmansa ensimmäisessä maailmansodassa. Ziereis vietti kansakoulussa kahdeksan vuotta ja aloitti työuransa harjoittelijana ja juoksupoikana tavaratalossa. Iltaisin hän opiskeli kauppatieteitä. Vuonna 1922 hän meni töihin puusepänliikkeeseen. Välillä hän oli työttömänä. Hän päätti vuonna 1924 liittyä armeijaan ja 1. huhtikuuta 1924 Ziereis värväytyi 12 vuoden sopimuksella Reichswehriin. Kersantin arvoinen aliupseeri Ziereis erosi armeijan palveluksesta palveltuaan sopimuksensa loppuun vuonna 1936. Syyskuun 30. päivänä 1936 hän liittyi SS:ään, jossa hänet sijoitettiin SS-Totenkopfverbändeen SS-Obersturmführerin arvoisena kouluttajana.
Hän sai aluksi esimiehiltään sotilaallisia tehtäviä ja hänen esimiehensä, kuten Theodor Eicke kiittelivät hänen kykyjään kouluttajana. Vuonna 1937 hänestä tuli SS-Totenkopf-Standarte 2 "Brandenburgin" 22. Hundertschaftin (sadan miehen yksikkö) päällikkö. Vuonna 1937 hän haavoittui harjoituksessa pahasti olkapäähän ja joutui pitkäksi aikaa sairaalahoitoon. Vuonna 1938 Ziereis siirrettiin Itävaltaan, missä hän koulutti SS-miehiä SS-Totenkopf-Standarte 3 "Thüringenissä". Keskitysleirien tarkastajan, SS-Gruppenführer Theodor Eicken käskystä Ziereis otti vastaan Mauthausen-Gusenin keskitysleirin komendantit tehtävät 9. helmikuuta 1939, korvaten edeltäjänsä Albert Sauerin. Mauthausenissa Ziereis antoi muun muassa 11-vuotiaan poikansa ampua vankeja kiväärillä talonsa verannalta. 25. elokuuta 1939 hänet ylennettiin SS-Sturmbannführeriksi ja 20. elokuuta 1944 SS-Standartenführeriksi ”erityisistä saavutuksistaan” keskitysleirin komendanttina.
Leirin vapauttamisen jälkeen hän pakeni vaimonsa ja poikansa kanssa leiriltä. Yhdysvaltain maavoimat löysivät heidät metsästysmajaltaan Phyrn-vuorilta Ylä-Itävallassa 23. toukokuuta samana vuonna. Ziereis yritti paeta, mutta häntä ammuttiin, ja hän haavoittui kuolettavasti. Vangitsemisensa jälkeen hänet vietiin Yhdysvaltain sotilassairaalaan Guseniin, missä hän kuoli 24. toukokuuta 1945. Entiset keskitysleirivangit hirttivät hänen ruumiinsa Gusen I -leirin aitaan.
