Né à Port Chester, John Abercrombie passe son enfance à Greenwich (Connecticut). Il apprend la guitare à l'âge de 14 ans. À l'époque, il est surtout attiré par le rock, en particulier par Chuck Berry. Son professeur de musique lui fait découvrir le jazz.
Repéré par le producteur Manfred Eicher, il choisit de sortir ses disques pour « ECM », le label de ce dernier. Pour ECM, il enregistre comme membre du groupe « New Directions » de Jack DeJohnette ou avec d'autres « poulains » du label (Ralph Towner, Collin Walcott, Jan Garbarek,...). Il enregistre aussi comme leader de nombreux albums. En 1979, il forme un quartet régulier Richie Beirach au piano, George Mraz à la contrebasse et Peter Donald à la batterie. Au début des années 1980, il forme aussi un trio avec Marc Johnson à la contrebasse et Peter Erskine à la batterie. Dans les années 1990, il forme un nouveau trio avec Dan Wall à l'orgue Hammond et Adam Nussbaum à la batterie. Depuis, il continue à se produire et à enregistrer abondamment, tout en menant en parallèle une carrière d'enseignant.
John Abercrombie a un style immédiatement identifiable qui est la synthèse très personnelle de différentes influences (John Coltrane, Jim Hall, Bill Evans, mais aussi le guitariste country John Fahey).
