Wolleh kasvoi Natsi-Saksassa sodan keskellä. Neuvostoliittolaiset pidättivät Wollehin epäiltynä vakoilusta ja määräsivät hänet viideksitoista vuodeksi pakkotyöhön kaivokselle Siperiaan. Wolleh vapautui ja pääsi takaisin Berliiniin onnistuneiden neuvotteluiden johdosta työskenneltyään kuusi vuotta kuritusleirillä Vorkutan lähistöllä.