Inicià els estudis musicals amb el seu pare, Nicolas-Joseph Ysaÿe, violinista del Teatre Reial de Lieja i director d'òpera. El 1865 entrà al Conservatori de Lieja amb Désiré Heynberg. Tres anys més tard, coincidint amb la mort de la seva mare i a causa del desacord amb el seu professor i la seva "falta de progrés", deixà el conservatori i acompanyà el seu pare de gira, tocant a l'orquestra on aquest dirigia. El 1872 Ysaÿe tornà a Lieja on estudià amb Rodolphe i Léon Massart. Es diu que mentre un dia estudiava, Henri Vieuxtemps el va sentir des del carrer, i va quedar tan impressionat que fos un nen de dotze anys, que va aconseguir que anés a estudiar a Brussel·les amb el seu assistent, Henryk Wieniawski, i de 1876 a 1879 amb el mateix Vieuxtemps, a París. Això suposà per a Ysaÿe entrar a formar part de l'escola Franco-Belga de violí.
A partir de 1922, i per culpa de problemes amb el braç de l'arc, se centrà en la direcció. A causa de la diabetis que patia, el 1929 li van haver d'amputar un peu, però això no li impedí de seguir dirigint.
Gràcies a la seva fama d'intèrpret excel·lent, diversos compositors van dedicar-li obres, com la famosa Sonata per a violí i piano de Frank com a regal de bodes, el Poème de Chausson o el Quartet de corda de Debussy. Una de les seves obres més conegudes són les Sis sonates per a violí sol, dedicades cada una a un violinista diferent.
Llegat
L'obra d'Ysaÿe no és una de les més extenses, però deixà un important llegat interpretatiu i pedagògic. Yehudi Menuhin recorda una classe amb Ysaÿe, professor del seu professor Louis Presinger, on li recomanà practicar escales i arpegis, una pràctica no tan comuna en aquella època com avui en dia. Pau Casals deia no haver sentit mai un violinista tocar tan afinat, i Carl Flesh digué que era «el violinista més espectacular i individual que mai he sentit», i que la seva influència era vital. Joseph Szigeti atribuí a la prohibició del pare d'Ysaÿe d'usar prematurament el vibrato, la particular, variada, però disciplinada forma del seu vibrato. També fou destacable el seu ús del rubato, que tot el temps que agafava el retornava seguidament, com el rubato de Frédéric Chopin.
El 1937, la reine Elisabet de Bèlgica va crear el concurs musical Eugène Ysaÿe, que des de 1951 es va rebatejar Concurs Reina Elisabet que amb el temps va esdevenir un dels concursos internacional de més prestigi.[6]