Von Arnim blev født i Ernsdorf i Schlesien i kongeriget Preussen. Han var søn af general Hans von Arnim (1861–1931) og Martha Honrichs (1865–1953). Han indtrådte i den tyske hær i 1907 og gjorde tjeneste indtil afslutningen på 2. verdenskrig. Under 1. verdenskrig kom han i kamp på såvel Østfronten som Vestfronten. Efter krigen blev han i Reichswehr og steg i graderne til han fik kommandoen over 68. infanteriregiment, der var et eliteregiment i Berlin.
Efter nazisternes magtovertagelse blev von Arnim forfremmet til generalmajor i 1938. Han havde kommandoen over 52. division under invasionen af Polen og Slaget om Frankrig. I oktober 1940 gik von Arnim kommandoen over 17. panserdivision. Under angrebet på Sovjetunionen i 1941 blev han forfremmet til generalløjtnant under Heinz Guderian, men blev alvorligt såret nogle få dage inde i felttoget. Han blev forfremmet til general af pansertropperne den 1. oktober1941 og havde kommandoen over 39. panserkorps indtil november 1942 hvor han fik kommandoen over 5. panserarmé under Erwin Rommel i Nordafrika.
Da Adolf Hitler afslog at lade Rommel vende tilbage til Tunesien, blev von Arnim forfremmet til fuld general (Generaloberst) den 4. december1942, og blev øverstkomamnderende for Heeresgruppe Afrika og de facto leder af styrkerne i Afrika fra 9. marts indtil briterne tog ham til fange to måneder senere den 12. maj1943[1]. Arnim tilbragte resten af krigen som britisk krigsfange og blev frigivet den 1. juli 1947. Han vendte til bage til Tyskland og døde i Bad Wildungen i Hessen.
Efter sin tilfangetagelse skulle von Arnim efter sigende have forventet at blive fejret af sin modstander, og bad om at møde Dwight D. Eisenhower. Den amerikanske general svarede til sine hjælpere, at de skulle få så meget information ud af ham som muligt, men et personligt møde var udelukket. Han mødte først en naziofficer ved den afsluttende kapitulation.[2]
Fellgiebel, Walther-Peer (2000). Die Träger des Ritterkreuzes des Eisernen Kreuzes 1939-1945. Podzun-Pallas. ISBN3-7909-0284-5.
Patzwall, Klaus D. and Scherzer, Veit (2001). Das Deutsche Kreuz 1941 – 1945 Geschichte und Inhaber Band II. Norderstedt, Germany: Verlag Klaus D. Patzwall. ISBN3-931533-45-X.
Scherzer, Veit (2007). Ritterkreuzträger 1939–1945 Die Inhaber des Ritterkreuzes des Eisernen Kreuzes 1939 von Heer, Luftwaffe, Kriegsmarine, Waffen-SS, Volkssturm sowie mit Deutschland verbündeter Streitkräfte nach den Unterlagen des Bundesarchives (på tysk). Jena, Germany: Scherzers Miltaer-Verlag. ISBN978-3-938845-17-2.