Acteur de théâtre à ses débuts, il obtient un Tony Award en 1947. Il est surtout connu pour ses nombreux seconds rôles dans des productions hollywoodiennes qui lui valurent notamment deux nominations aux Oscars, en 1950 pour Battleground, puis en 1976 pour Give 'em Hell, Harry!.
En 2007, il joue le rôle de Milton dans l'épisode 21 (Un homme au tapis) de la saison 7 des Experts.
Marié quatre fois, il a été l'époux des actrices Audra Lindley et Noreen Nash. Il est le père de trois enfants, dont l'acteur et réalisateur James Whitmore Jr.