Unionens militærområder for Virginia og North Carolina blev lagt sammen i 1863. Tropper fra disse militærområder blev samlet i XVIII Korps. I april 1864 blev X Korps overført til området, og de to korps dannede tilsammen Army of the James. GeneralmajorBenjamin F. Butler blev sat til at lede den.
Butlers eneste større succes som kommandør for hæren var i september 1864 i Slaget ved Chaffin's Farm, hvor hæren erobrede en betydelig del af de konfødererede forsvarsværker, som beskyttede Richmond, herunder fort Harrison. I december blev hæren reorganiseret, og XVIII og X Korps blev foreløbig nedlagt. Alle de sorte tropper blev placeret i XXV Korps og de hvide i XXIV Korps og militærområderne Virginia og North Carolina blev adskilt. Enheder fra det tidligere XVIII Korps og X Korps blev formeret i "Fort Fisher Expeditionary Corps" og sejlet til Fort Fisher. Butler brugte sin stilling som leder af militærområdet til selv at tage kommandoen over ekspeditionen, men efter hans nederlag i det Første slag ved Fort Fisher benyttede Grant muligheden og fjernede Butler. Generalmajor Edward Ord, helten fra Chaffin's Farm, blev overdraget kommandoen over Army of the James.
Under Ords ledelse fik Army of the James sin største succes. XXIV Korps deltog i de sidste angreb på Petersburg, mens det XXV Korps var den første enhed, som indtog den faldne by Richmond. Ord og XXIV Korps forfulgte de konfødererede til Appomattox Court House, hvor de afskar Robert E. Lees flugtrute. Army of the James var tilstede, da Army of Northern Virginia overgav sig.
.svg){kind=small}
.svg){kind=small}