Ele nasceu no bairro pobre de Yorkville, em Manhattan e trabalhou como office-boy, garçom e empacotador em uma loja de departamentos para custear seus estudos na Universidade de Columbia, que acabou abandonando em 1918 para se dedicar ao teatro.
Durante a década de 1920 atuou em várias companhias de revistas musicais, especialmente na Broadway e em Nova Orleans como dançarino, sapateador e ator. Foi na Broadway que ele encontrou Frances Willard Vernon, com quem se casou em 1922.
Descoberto pela Warner em "Penny Arcade", uma peça da Broadway, ele estreou nas telas em 1930 na fita "Sinner's holiday", uma versão cinematográfica da peça do mesmo nome.
Em 1942 ele fundou sua própria companhia produtora com seu irmão William e em 1957 estreou como diretor em "Short cut to hell". Foi presidente do Sindicato dos Atores entre 1942 e 1944, tendo sido também um dos seus fundadores.
Cagney não fumava e raramente bebia, mas se transformou no maior "durão" do cinema norte-americano e se especializou em papéis de gangsters.
