Joseph Hellmesberger war der Sohn des österreichischen Violinisten und Dirigenten Joseph Hellmesberger senior (1828–1893), der auch sein erster Lehrer war. Bereits im Alter von 15 Jahren wurde er als 2. Violinist Mitglied des Quartetts seines Vaters (Hellmesberger-Quartett), dessen Leitung er 1887 übernahm und mit 18 Jahren trat er als Geiger in das Wiener Hofopernorchester ein. Als Konzertmeister (in der Streicherbesetzung) und als Schlagzeuger (in der Bläserbesetzung) begann er 1875 den Militärdienst in der Kapelle des österreichischen Infanterie-Regiments Nr. 4, rückte noch im selben Jahr zum Kapellmeister auf und übernahm 1876 die Leitung der Militärmusik der „32er“. Diese Funktion hatte er bis 1878 inne. Ab 1878 wirkte er als Sologeiger in der Wiener Hofmusikkapelle und an der Hofoper (heute Wiener Staatsoper). Ebenfalls ab 1878 war er Professor für Violine am Konservatorium der Gesellschaft der Musikfreunde in Wien (der Vorgängeranstalt der Wiener Musikakademie).
1890 wurde er erster Hofkapellmeister der Wiener Hofkapelle und wirkte auch am Ringtheater als Kapellmeister, wo er auch den Ringtheaterbrand hautnah miterlebte.[1] Als Nachfolger von Gustav Mahler leitete er von 1901 bis 1903 die Philharmonischen Konzerte.
1903 legte er aus privaten Gründen alle Wiener Funktionen nieder und ging als Kapellmeister an das Stuttgarter Hoftheater. Schon ein Jahr später kehrte er nach Wien zurück, erkrankte bald nach seiner Rückkehr und verstarb 1907.
Seine Grabstätte befindet sich auf dem Hietzinger Friedhof (Gruppe 15, Nummer 4 D).
