Jogot végzett és azután mint ügyvéd élt Amiens-ben. Már a második császárság alatt is feltűnt szabadelvűségével, melyet a Le Progrès de la Somme című lap hasábjain is hirdetett. III. Napóleon bukása után az amiens-i törvényszékhez került mint államügyész. 1871-ben a nemzetgyűlésbe választották, 1877-ben a képviselőháznak lett tagja, 1879-ben pedig az igazságügyminisztériumban másodállamtitkár lett. 1876 és 1879 között Amiens polgármestere volt. 1882. január 31-én a belügyi tárcát vállalta el a Charles de Freycinet kormányában, de már 1882. július 29-én az egész kabinettel visszalépett.
Három év múlva (1885. április 6.) közoktatásügyi miniszter lett Henri Brisson kormányában, s amelyet az 1886 januárjában kinevezett Freycinet-féle kormányban is megtartott. E hivatalban különösen a klerikálisokkal éreztette hatalmát és nem késlekedett, hogy az elemi iskolákat a papság befolyása alól kivonja. Freycinet bukása után (1886 decembere) Grévy elnök megbízta az új kormány alakításával, és a belügyi tárcát is magára vállalta. Négy hónappal később az egész kormánynak vissza kellett lépnie.
1888. április 3-án negyedszer lett miniszter, amikor megkapta a külügyi tárcát Charles Floquet kabinetjében. 1889. februárban azonban ez a kormány is lemondott. Az 1889. szeptemberi választásokban Goblet nem jutott mandátumhoz, kárpótlásul 1891. május 3-án a szenátusba választották, ahol a szélső radikális frakciónak lett a vezére. Egyúttal Édouard Lockroy-val és más társaival a Petite République Française-t indította meg.
Az 1893 augusztusi általános választásokban újra mandátumhoz jutott Párizsban. Ezután a radikális párt ama frakciójának a vezére volt, mely nem idegenkedett a szocialisták programjától, akiknek segélyével kapta egyébiránt mandátumát. A képviselőházban minden fontos kérdéssel szemben állást foglalt, a radikális-szociális elvet hangoztatva és mint már előbb is többször tette, 1894. március 16-án az alkotmány revízióját sürgette. A többség azonban ezt az indítványt, mint rendesen, elvetette. Az 1894. júniusi beterjesztett anarchista-törvényt hevesen ellenezte.
