У 1939 році призваний до складу румунської армії, де після початку війни з Радянським Союзом у 1941 році служив фельдшером на східному фронті. У травні 1943 року Кляйн став солдатом у Ваффен-СС і відправлений в Югославію.
15 грудня 1943 року він прибув до концтабору Освенцим, де спочатку служив лікарем у жіночому таборі в Біркенау. Згодом працював лікарем у циганському таборі. Він займався відбором для газових камер і крематоріїв. У грудні 1944 року його перевели в концтабір Ноєнгамме, звідки в січні 1945 року його відправили до концтабору Берген-Белзен. Він залишився з комендантом Йозефом Крамером при здачі концтабору британським військам. При звільнені концтабору, британці виявили 10 тисяч непохованих трупів і близько 60 тисяч в'язнів, що вижили. Кляйна заарештували та примусили, разом з іншими службовцями концтабору, поховати всі непоховані трупи у масових могилах.
На запитання, як він узгоджує свої дії з етичними зобов'язаннями лікаря, Клейн заявив:
«Клятва Гіппократа каже мені вирізати небезпечні пухлини з людського тіла. Євреї — це гангренозний апендикс людського роду. Тому я його вирізав.».
Кляйна та 44 інших співробітників табору відправили на військовий суд у Люнебургу (так званий Бельзенський процес). Суд тривав кілька тижнів, у вересні-листопаді 1945 року.[2]
Його засудили до смертної кари та повісили 13 грудня 1945 року.[3][4]
