Redan 1935 samarbetade han för första gången med Svend Asmussen och deras första svenska framträdande var på Gröna Lund1941. Efter systerns död 1947, i samma flygolycka där även prins Gustaf Adolf omkom, återupptog Neumann samarbetet med Asmussen.
Duon Neumann-Asmussen utvidgades till trionSwe-Danes, då Alice Babs tillkom 1958. De turnerade i Europa och USA fram till 1961, varefter trion upplöstes och Neumann och Asmussen fortsatte som en duo. Senare uppträdde Neumann tillsammans med sina barn Ulla och Mikael i trion 3 x Neumann.
Hans hustru Stina Sorbon var mor till Ulla och Mikael.