Avishai va començar tocant el piano als 9 anys, però va canviar al baix elèctric als 14 anys, inspirat per Jaco Pastorius. Després de tocar dos anys en una banda de l'exèrcit, durant el seu servei militar obligatori, va prendre classes de baix amb Michael Klinghoffer. Dos anys després es va traslladar a Nova York, per prendre contacte amb altres músics de jazz. En els primers temps de la seva estada novaiorquesa, va treballar en la construcció, mentre tocava al metro i als carrers. Va estudiar música a The New School for Music, i va tocar amb algunes bandes de jazz llatí, fet que va facilitar que Danilo Pérez el cridés per formar part del seu trio.[1]
Després d'un llarg període tocant en petits clubs, Cohen va rebre la trucada de Chick Corea i va obtenir un contracte d'enregistrament. El 1996, es va convertir en membre del sextet de Corea (Origin), i va publicar el seu primer àlbum en el segell d'aquest, Stretch. Cohen va romandre amb Corea fins a 2003, quan va crear el seu propi segell; des de llavors va tocar amb el seu propi grup, l'Avishai Cohen Trio, amb Mark Guiliana a la bateria i el seu compatriota Shai Maestro al piano. En alguns enregistraments ha ampliat el grup amb instruments de vent.[2]
Cohen ha acompanyat, gravat i actuat amb un bon nombre de músics, a més de Corea, com ara Bobby McFerrin, Roy Hargrove, Herbie Hancock, Kurt Rosenwinkel, Nnenna Freelon o Paquito D'Rivera. També ha col·laborat amb Claudia Acuña (Wind from the South, 2000), Alicia Keys i la London Philharmonic Orchestra, amb força repercussió mediàtica. Ha estat destacat per Down Beat, i designat com un dels baixistes més influents del segle xx per la revista especialitzada Bass Player.