Gmelin ble født i Tübingen som sønn av en apoteker. Han var et oppvakt barn og ble uteksaminert fra universitetet som lege i en alder av 18. I 1730 reiste han til St. Petersburg for å forelese ved universitetet der og året etter ble han utnevnt til professor i kjemi og naturhistorie.
Fra 1733 til 1743 var Gmelin på en vitenskapelig ekspedisjon i Sibir. Han beskrev elven Jenisej som grensen mellom Europa og Asia og foretok temperaturmålinger. Gmelin var også den første som målte nivået på Det kaspiske hav og fant ut at det lå under havnivå (28 meter).
Gmelins hovedverk var Flora Sibirica, fire bind, utgitt 1749-50 og Reisen durch Sibirien, fire bind, utgitt 1753. Sine siste leveår tilbrakte han som professor i medisin i Tübingen, en stilling han fikk i 1749.
