In den Jahren 1975 bis 1979 startete Gartner seine Karriere in der Formel Super V. 1979 fuhr er eine Saison in der Formel 3, unter anderem gegen Alain Prost. Von 1981 bis 1983 fuhr er in der Formel-2-Europameisterschaft, wo ihm auch sein erster Formel-2-Erfolg mit dem Sieg beim Großen Preis von Pau 1983 gelang. Jo Gartner war 1984 bei insgesamt acht Formel-1-Grand-Prix auf Osella-Alfa Romeo am Start. Bestes Ergebnis war ein 5. Platz beim Grand Prix von Italien, allerdings blieb Gartner ohne WM-Punkte, da Osella nur mit einem Auto zur Teilnahme an der Fahrer-WM berechtigt war. 1985 blieb er ohne ein Formel-1-Cockpit, er wechselte daraufhin in die Sportwagenserie. Im selben Jahr fuhr Gartner das 24-Stunden-Rennen von Le Mans, bei dem er mit seinen Teamkollegen David Hobbs und Guy Edwards trotz der Zieleinfahrt auf drei Rädern den vierten Platz erreichte.
In der Nacht vom 31. Mai auf den 1. Juni 1986, gegen 3:12 Uhr, raste er beim 24-Stunden-Rennen von Le Mans auf der Mulsanne-Geraden mit über 300 km/h gegen die linke Leitschiene der Strecke und starb beim Aufprall. Der Wagen überschlug sich und kam auf der anderen Seite der Strecke zum Liegen, wo er anschließend ausbrannte. Die Ursache für den Unfall konnte nicht eindeutig geklärt werden, es wird aber eine gebrochene Hinterradaufhängung als Ursache angenommen.
Jo Gartners Grab befindet sich in Wien-Döbling, auf dem Döblinger Friedhof.