Gimė 1884 m. Kaune teisininko L. Karnovičiaus (1841–1918) šeimoje[2]. Tėvą paskyrus Vilniaus teismo rūmų prokuroru, nuo 1884 m. liepos mėnesio Karnovičių šeima apsigyveno Vilniuje. J. Karnavičius 1895–1903 m. mokėsi Vilniaus I vyrų gimnazijoje, kurią baigė ir du vyresnieji jo broliai[3]. Muzikos namuose mokė motina, devynerių metų pradėjo groti smuiku, privačiai lankė fortepijono ir smuiko pamokas pas Viktorą Antonovičių Dobržinskį (В. Добржинский) [4]. Gimnazijoje muzikos mokė Prahos konservatoriją baigęs J. Ružička (Josef Růžička, Йозеф Я. Ружичка)[5]. J. Karnavičius nuo 13 metų grojo gimnazijos orkestre, pasirodydavo kaip smuikininkas solistas gimnazijos vakaruose[6]. 1902–1903 metų žiemą M. Treskino (М. И. Трескин) Vilniaus muzikos mokykloje lankė harmonijos pamokas[7]. 1903 m. išvyko studijuoti į Peterburgą, 1908 m. baigė Sankt Peterburgo universiteto Teisės fakultetą, 1910 m. – Sankt Peterburgo konservatorijos dainavimo klasę, 1912 m. šios konservatorijos Maksimiliano Šteinbergo kompozicijos klasę. Nikolajaus Rimskio-Korasakovo mokinys ir žentas M. Šteinbergas (Максимилиан Осеевич Штейнберг, 1883–1946) pora metų anksčiau nei J. Karnavičius buvo baigęs tą pačią Vilniaus I vyrų gimnaziją[8], taip pat mokėsi M. Treskino Vilniaus muzikos mokykloje[9].
1913–1914 m. ir 1918–1927 m. J. Karnavičius dėstė Sankt Peterburgo konservatorijoje, nuo 1923 m. vadovavo jos choro klasei ir studentų chorui, nuo 1919 m. profesorius. 1914 m. mobilizuotas į Rusijos kariuomenę, 1916 m. vokiečių paimtas į nelaisvę iki 1918 m. gyveno Jozefštadte, prie Vienos. Dalyvavo Šiuolaikinės muzikos asociacijos veikloje, 1925–1926 m. jos vadovas. Dainavo ir griežė savo suburtuose vokaliniame ir styginių kvartetuose Sankt Peterburge.
Jo estetinėms pažiūroms įtakos turėjo simbolizmas, kūryboje rusų klasikinės muzikos tradicijas nuosaikiai derino su naujoviškesnės raiškos harmonija, instrumentuote. Jo sceniniuose kūriniuose nemažai lietuvių liaudies muzikos motyvų, vartojo ir kitų tautų liaudies muzikos intonacijas.[11].