Em 1626, apesar de ser um protestante, foi persuadido por Albrecht von Wallenstein para entrar para o novo exército do Sacro Império Romano. Rapidamente foi promovido ao posto de marechal de campo, e ganhou a estima de seus soldados, bem como a de seu comandante, de quem se tornou amigo próximo e aliado fiel. Este apego a Wallenstein, e um espírito de tolerância religiosa, foram os motivos que o levaram a ter uma estranha carreira militar e uma inconstância política.
Arnim deixou o serviço imperial em decorrência do Édito da Restituição e da demissão de Wallenstein. Entrou para o exército de João Jorge I da Saxônia, e esteve no comando da ala esquerda do exército de Gustavo Adolfo em Breitenfeld (1631). Invadiu depois a Boêmia, tomou Praga, e foi vitorioso em Nimburg (atual Nymburk), e em 1632 retornou à Saxônia, e depois lutou em Brandemburgo e na Silésia. Foi um dos principais agentes nas negociações entre João Jorge I e Wallenstein, que foram encerradas com a morte deste último em 1634. Depois disso, Arnim derrotou o exército imperial em Liegnitz e atuou em conjunto com Bauer na Boêmia, mas a partir deste momento se tornou cada vez mais distante dos suecos.
Em protesto contra a Paz de Praga, Arnim deixou as forças saxônicas em 1635. Foi sequestrado por Axel Oxenstierna, por alegadas intrigas com Wallenstein contra a Suécia, e foi levado para Estocolmo em 1637, mas fugiu para Hamburgo em novembro de 1638 e, posteriormente, dedicou-se a libertar a Alemanha da dominação estrangeira. Estava encarregado de uma campanha, como tenente-general das forças imperiais e saxônicas contra os franceses e suecos, quando morreu em Dresden.