Nagyon fiatalon elhagyva otthonát gyermekkorának egy részét árvaházban töltötte. Harsonázni tanult. Tizenhat éves korában New Yorkba költözött, ahol különböző munkákat vállalt, köztük a Pullman vasúttársaságnál (Pullman Company), annak érdekében, hogy hangszerének ellopását követően új tubát vásárolhasson.
1928 és 1930 között Bill Brown együttesében[5] játszott, majd 1930 és 1933 között csatlakozott a Fletcher Henderson nagy zenekarához. 1930-től bőgőzni tanult, amellett továbbra is a tubázott. 1933-ban véglegesen a nagybőgőt választotta. 1933-35 között Chick Webb dobossal játszott, majd 1935 és 1936 között visszatért Fletcher Hendersonhoz. 1936-1937-ben csatlakozott a Mills Blue Rhythmme Bandhez.
1937-ben Kirby tizenegy hónapig játszott a manhattani a New York-i Onyx Clubban és megalapította az Onyx Club Boys szextettet, amely ismertté tette.
Alapított egy nagy zenekart, amelyben 1940-től az akkori felesége, Maxine Sullivan énekelt.
Kirby az 1930-as évek egyik legnépszerűbb nagybőgőse volt, a John Kirby Sextet szintúgy. 1945-46-ban az átalakult szekszett Sarah Vaughan részvételével megerősödött. Később – big bandek hanyatlása idején – a combo dezorganizálódott.
1950-ben kvartettet alapított, amellyel a Carnegie Hallban is fellépett. Megpróbálta újraéleszteni a szekszettjét, de a betegsége ebben már megakadályozta. 43 éves korában cukorbetegsége következtében meghalt.
Albumok
1951: John Kirby and His Orchestra
1958: Intimate Swing
1977: Boss of the Bass
1986: John Kirby
1994: John Kirby and His Orchestra 1938–1939
1994: John Kirby and His Orchestra 1941–1943
1994: John Kirby and His Orchestra 1945–1946 (Chronological