Hegedülni tízéves korában kezdett. Az aradi konzervatóriumban tanult, 1844-től a Nemzeti Színház zenekarának volt első[1] hegedűse, majd 1851–52-ben a bécsi Opera zenekarának koncertmestereként tevékenykedett. Később visszatért a Nemzeti Színházba, s a zenekar vezetője lett, majd 1862-től 1871-ig Erkel Ferenc mellett, annak másodkarmestereként működött. Szerepelt Az álarcosbál és a Don CarlosGiuseppe Verdi-operák első bemutatóján, betanította 1866-ban a Lohengrint és a Tannhäusert, amivel meghonosította Richard Wagner operáit. 1856-ban egész Európában adott koncerteket mint hegedűművész; 1857-ben létrehozott egy vonósnégyes-társaságot, amelynek segítségével a kamarahangversenyeket népszerűsítette Pesten. A Nemzeti Dalkörnek, illetve az országos Magyar Daláregyesületnek volt a karnagya.
1852 és 1885 között hegedűtanár volt a Nemzeti Zenedében és a Zeneakadémián. 1884-től kamaraegyütteseket és kórusokat vezetett, eme tevékenységre Liszt Ferenc ajánlotta be. Többnyire hangszeres és vokális zeneműveket írt, művei között vígoperák, dalművek és operettek is megtalálhatók.
1852-ben vette nőül Szevera Lujzát, egy olasz származású, tehetős pesti szalámigyáros család leányát, akitől három gyermeke: Károly, Jenő (aki már 1879 januárjában a magyarosított Hubay nevet használta, bár a belügyminiszteri engedélyt csak november végére kapta meg, bátyjával együtt, illetve édesapjuk is ezt a nevet használta utolsó művein) és Aranka (Hubai néven színésznő,[4]Ferenczi Zoltán felesége lett). Lakásukban, a Kerepesi (ma Rákóczi) úton, a Fehér ló szálloda mellett lévő bérház második emeletén igen sok neves művész megfordult, így gyakran járt oda Volkmann Róbert, Ferdinand Laub(wd) cseh hegedűművész is.[1]
Felesége 1871. júliusi halálát[5] követően 1880-ban Temesvárott újra házasságot kötött, neje a 19 éves Fischer Adél lett.[6] Második házasságából három kisgyermeke maradt árván, amikor 57 évesen szívszélhüdésben elhunyt.[7]
Brockhaus-Riemann zenei lexikon. Szerk. Dahlhaus, Carl és Eggenbrecht, Hans Heinrich. A magyar kiadás szerk. Boronkay Antal. Bp., Zeneműkiadó, 1983-1985.
Magyar Színművészeti Lexikon. Szerk. Erődi Jenő és Kürthy Emil összegyűjtött anyagának felhasználásával... Schöpflin Aladár. [Bp.], Országos Színészegyesület és Nyugdíjintézete, [1929].
Magyar zenészeti lexicon. Encyklopediai kézikönyv... Szerk. és írta Ságh József. Bp., [Szerző?], 1880.
Új magyar életrajzi lexikon. Főszerk. Markó László. Bp., Magyar Könyvklub.