Johann Friedrich Gmelin se narodil jako nejstarší syn Phlipa Friedricha Gmelina v roce 1748 v Tübingenu. Až do roku 1769 studoval medicínu na Tübingerské univerzitě, později se stal asistentem profesora medicíny na též univerzitě. V roce 1773 se stal profesorem filozofie a asistentem profesora medicíny, tentokrát na univerzitě v Göttingenu. V roce 1778 se stal profesorem medicíny, chemie, botaniky a mineralogie, v roce 1804 zemřel v Göttingenu.
Za svůj život vydal několik učebnic s tematikou chemie, farmaceutické vědy, mineralogie a botaniky. V roce 1788 publikoval též 13. (vylepšené a rozšířené) vydání Linnéova díla Systema Naturae; Gmelinova edice byla oficiálně uznána za rovnocennou s předchozími dvanácti vydáními od samotného Linného a náležející do původní řady.
Mezi jeho studenty patřil Georg Friedrich Hildebrandt, Carl Friedrich Kielmeyer, Friedrich Stromeyer nebo Wilhelm August Lampadius. Byl otcem Leopolda Gmelina.