Школу и гимназију похађао у Вараждину, гимназију завршио у Загребу 1856. године.[2] У Бечу је као стипендист студирао класичну филологију, а код Франца Миклошича слушао славистику којој се потпуно приклонио. Завршивши студије вратио се у Загреб гдје је целу деценију (1860—1870) професор у гимназији. Године 1869. изабран је за правог члана ЈАЗУ и дописног Петроградске академије. Следеће године отпуштен из државне службе. Руски цар Николај II га је 1903. године одликовао насловом царског руског тајног саветника.[3]
На препоруку Измаила Ивановича Срезњевског и Валтазара Богишића изабран је за ванредног професора упоредне интеревропске филологије у Одеси (март1871) „Командировку“ (једногодишње припреме за усавршавање у санскриту и руском језику) провео је у Берлину и Петрограду. Од 1874. до 1880. године био је први професор славистике на Хумболтовом универзитету у Берлину. Након тога је професор славистике на универзитету у Петрограду. Године 1886. као наследник Ф. Миклошича постао је професор славистике на бечком универзитету на којем је деловао до пензије (1908).
Стручне радове из књижевности и језика Јагић је почео објављивати у извјештајима загребачке гимназије. Године 1863. с Фрањом Рачким и Јосипом Торбаром покренуо је Књижевник, часопис за језик и повиест хрватску и србску[4] и природне знаности у којему је објавио неколико запажених радова (Наш правопис, Примједбе нашој синтакси, Из прошлости хрватскога језика). Марљиво је сарађивао у Раду ЈАЗУ у којему је, уз остало објавио расправе Грађа за глаголску палеографију, Помлађена вокализација у хрватскоме језику, Грађа за словинску народну поезију. Један је од првих приредитеља дјела за низ Стари писци хрватски.
Године 1871. докторирао је у Лајпцигу на основи дисертације Das Leben der Wurzel de in den slavischen Sprachen (Коријен de у славенским језицима). По доласку у Берлин почео је издавати часопис Archiv fur slavische Philologie који је уређивао пуних 45 година. Тим часописом је побудио занимање за Словене и силно допринео афирмацији славистике као научне и универзитетске дисциплине.[5]
Након преласка у Беч бавио се мишљу о издавању Енциклопедије словенске филологије. Из те је замисли потекла његова књига Историја славјанској филологии Петроград, 1910, којом је обухваћен развој словенске филологије од почетака до краја 19. века. Посебно интензивно бавио се старословенским језиком за који је доказао да је обликован на темељу једнога јужнословенска нарјечја чиме је побио такозвану панонску теорију. Поткрај живота проучавао је живот и дјело Јурја Крижанића. Последња штампана књига за Јагићева живота
Била је монографија „Живот и рад Јурја Крижанића“. (О тристотој годишњици његовог рођења Загреб 1917).
Један је од највећих филолога у историји славистике и један од најрадинијих. „Написао је толико да би од тога, када би се све прештампало, настала библиотека од 100 књига, свака по двјесто страница“ (др Јосип Хам, академик ЈАЗУ, свеучилишни професор Филозофског факултету у Загребу).
Изабран је за редовног члана Српске краљевске академије23. јануара 1888. године. Али због његовог неповољног писања о етнографским приликама у Старој Србији и Македонији, Срби ученици и студенти су више дана почетком априла 1903. године жучно демонстрирали пред његовим станом у Јозефшату, у Бечу. Ствар су покренули српски листови оптужујући га да је "нечасно продао" своје знање. Полиција је штитила стан тог "члана Великог дома и дворског саветника". Јагић је на то поднео оставку на чланство у Српској краљевској академији, па је повукао.[6]
Био је изванредан издавач старих текстова, који иду у хиљаде штампаних страна (Зографско јеванђеље, 1879, Маријино јеванђеље, 1883, Размишљања јужнословенске и руске прошлости о црквенословенском језику, 1895, Староруска минеја, 1886, Болоњски псалтир, 1907 и т. д.). Нарочито су важни његови прегледи глагољских споменика и палеографије (Глагољско писмо, на руском, 1911), расправе о пореклу старословенског језика и раду Ћирила и Методија и огромна по материјалу и обиму, али компилативна и мемоарска, Историја словенске филологије (1910).
Јагић за повељу Кулина бана наводи: Листина Кулина бана од г. 1189. прво (је) и најстарије, што би писано ћирилицом и србским језиком.[7]
Поклонио је јануара 1922. године др Јагић своју библиотеку (спаковану у 40 великих сандука) Београдском универзитету. Држава је платила пренос те драгоцене библиотеке из Беча, где су се налазиле.[8] Умро је у Бечу, а сахрањен је у Вараждину (12. августа1923). године.