Ziereis studerade vid en handelsskola, innan han 1924 inträdde i Reichswehr. Han lämnade krigsmakten med graden sergeant 1936 och anslöt sig till SS, där han blev instruktör inom SS-Totenkopfverbände.
Den 9 februari 1939 utsågs Ziereis till kommendant för koncentrationslägret Mauthausen, som hade uppförts föregående år. Ziereis, som i Mauthausen förde en mycket hård regim, skall enligt vittnesuppgifter ha låtit sin 11-årige son skjuta lägerfångar med gevär.[1]
Vid krigsslutet flydde Ziereis, men påträffades den 23 maj 1945 i en jaktstuga i Pyhrnpasset av amerikanska soldater. Han försökte undkomma, men blev skjuten och avled dagen efter av sina skador. Frigivna interner hängde senare upp Ziereis nakna lik på taggtrådsstängslet vid lägret Gusen I.[2]