Para 1981 pasó a al equipo Toleman en F2. Allí logró sumar un punto en Pergusa, pero a fin de año se pasó al Team Merzario. Luego de otra temporada donde sumó un solo punto, compró un Spirit 201 para la temporada 1983. Ganó el Gran Premio de Pau de ese año, tras la descalificación del que arribó primero, Alain Ferté.[2] Finalizó sexto ese campeonato, con 14 puntos.[1][3]
En 1984 tuvo su debut en F1 en el modesto equipo Osella, como compañero de Piercarlo Ghinzani.[2] Debutó en Imola, con un Osella FA1E con un viejo motor Alfa Romeo de 12 cilindros aspirado; abandonó culpa de una falla en este último.[2] Estuvo inscrito para Francia, pero no asistió al GP.[1]
Vuelve a competir en Inglaterra, ya con el motor actualizado. En esa carrera abandonó por un accidente en el comienzo de la carrera, y en las dos siguientes por fallas del monoplaza.[2] En Zandvoort logró finalizar por primera vez un Gran Premio: fue 12.º a cinco vueltas del ganador, y en Monza tras largar 24.º, el austriaco finalizó la carrera en quinto lugar. Habría sumado dos puntos, pero fue considerado «piloto invitado» por la federación ya que el equipo Osella anotó ese monoplaza fuera del plazo establecido (lo mismo le sucedió a su perseguidor, Gerhard Berger de ATS).[1][2] En las dos siguientes carreras, Gartner terminó fuera del top 10.[1]
Tuvo negociaciones para la temporada 1985 con los equipos Arrows, Toleman y el propio Osella, pero ninguna prosperó.[2]
En las 24 Horas de Le Mans de ese año, Gartner participó con Sarel van der Merwe y Kunimitsu Takahashi con un Porsche 962C. En la vuelta 169, en horas de la madrugada, el piloto tuvo un despiste en la recta Mulsanne, atravesó el guardarraíl, chocó un poste, volcó y se incendió. Gartner murió en el impacto tras romperse el cuello.[5] La causa del despiste no se esclareció, pero dos comisarios de pista afirmaron que el Porsche encendió las luces de freno antes del desenlace. Una revista de la época comentó que la causa pudo ser la pérdida del capó trasero, perdiendo todo el empuje aerodinámico del coche. [2]
Jo Gartner fue la última víctima fatal en las 24 Horas de Le Mans en condiciones de carrera hasta la muerte del danés Allan Simonsen en 2013, que se accidentó en las primeras vueltas en la zona de Tertre Rouge.[6]