Nasceu em Lviv, na Ucrânia (antiga cidade polaca, na época uma república da União Soviética) filho de Joaquim e Hellen Ax, ambos sobreviventes de campos de concentração nazista.
Começou a estudar piano aos seis anos de idade, com o seu pai. Quando tinha oito anos a família mudou-se para Varsóvia, Polónia (onde estudou piano tocando na escola em Miodowa) e dois anos depois de Winnipeg, no Canadá, onde continuou a estudar música, inclusive como membro do Junior Club Musical de Winnipeg. Em 1961 a família mudou-se para Nova York e Ax continuou seus estudos na Juilliard School. Em 1970 recebeu seu M.B.A. da Universidade de Columbia e se tornou um cidadão americano. Em 1973 ganhou o Young Concert Artists International Auditions.
Ax realiza regularmente recitais duo com o violoncelista Yo-Yo Ma e realizou quartetos com o violinistas Isaac Stern e Jaime Laredo, antes da dissolução em 2001 devido à morte de Stern, gravou obras para a Sony por Brahms, Fauré, Beethoven, Schumann e Mozart.
É também artista convidado num filme documentário sobre a Orquestra Sinfónica de Toronto Five Days in September; the Rebirth of an Orchestra.
Recebeu da Yale University a Sanford Medal[3]
É doutorado honorário de música da Universidade de Yale concedido em maio de 2007.
Vive em New York City com a sua esposa, a pianista Yoko Nozaki, e os seus dois filhos, Joey e Sarah.