Jim Hall a Chico Hamilton Quintet tagja volt (1955-1956), 1956-1959 között pedig a Jimmy Giuffre Three tagja. Ella Fitzgeralddal turnézott 1960-61-ben, és néha duót alakított Lee Konitzcal. Hall 1961-62-ben Sonny Rollins kvartettjével dolgozott a „The Bridge” felvételén. Az Art Farmerrel 1962-64 vezetett egy kvartettet. Alkalmanként Paul Desmonddal is készített felvételeket 1959-65 között, majd New York-i stúdiózenész lett. A következő években többnyire zenekarvezető volt. 1999-ben egy Pat Metheny-vel dolgozott. Stúdióalbumok, újrakiadások és válogatások sokasága következett a következő néhány évben.
Jim Hall manhattani lakásában halt meg; 83 éves volt.