Jules Gilliéron era el fill de Jean Victor, professor de francès a Basilea i de Marie Jeanne Ritter. Estudià a l'acadèmia de Neuchâtel (on va obtenir la seua "licence" en 1875). Després prosseguí els seus estudis a la Universitat de Basilea i assistí a les classes de Jacob Burckhardt, Friedrich Nietzsche i sobretot Jules Cornu, qui l'aconsellà d'anar a París per a ser alumne de Gaston Paris i Paul Meyer, els filòlegs francesos més prestigiosos d'aquella època. Entre 1876 i 1880 estudià a l'Ecole pratique des hautes études (EPHE) i a l'École des Chartes de París. A conseqüència de l'ensenyament de Gaston Paris, presentà la seva tesi sobre un parlar francoprovençal, Le Patois de la commune de Vionnaz (Bas-Valais), que publicà el mateix any.
A partir de 1883, i fins a la seua mort, aquest lingüista va ensenyar dialectologia a l'EPHE. Jules Gilliéron va reemplaçar Darmesteter a aquesta escola, fent classes de dialectologia. A partir d'aleshores, la dialectologia va gestant-se com a ciència seriosa. Va dedicar tota la seua vida a la recerca en dialectologia gal·loromànica, recerca que va desembocar en diversos estudis respecte a la distribució geogràfica de les varietats dialectals. El 1887, va cofundar amb l'abbé Rousselot la Revue des patois gallo-romans, que es va publicar fins a 1893.
El punt àlgid de la seua producció va ser la publicació l'Atlas linguistique de la France (ALF). Aquesta obra monumental es va realitzar entre 1897 i 1907 i es publicà després entre 1902 a 1910 gràcies a la feina realitzada en cada localitat pel seu col·laborador Edmond Edmont. Entre els seus deixebles consten alguns lingüistes més importants del segle xx com per exemple Sever Pop, Paul Aebischer, Albert Dauzat o, pel que fa a l'àmbit dels Països Catalans, Antoni Griera, que s'inspirà de l'ALF per a realitzar l'Atlas Lingüístic de Catalunya.
Obres
Le patois de la commune de Vionnaz (1880)
Petit atlas du Valais roman (1882)
Généalogie des mots qui désignent l'abeille (1918)