En 1967, John Carlos participe à la fondation du Olympic Project for Human Rights (OPHR), créé à l'origine pour organiser un boycott des Jeux olympiques de 1968 à Mexico. Sur le plan sportif, il remporte le titre du 200 m des Jeux panaméricains de Winnipeg dans le temps de 20 s 5[3]..
Lors des sélections américaines pour les Jeux olympiques, Carlos remporte le 200 m à la surprise générale en battant le détenteur du record du monde Tommie Smith. Il court en 19 s 92 et améliore le record du monde de trois dixièmes de seconde. Cependant, le record ne fut jamais homologué car Carlos courait avec des chaussures à pointes qui ne sont pas acceptées à l'époque. La course permet cependant son émergence en tant que sprinter de classe mondiale.
À la suite de sa troisième place derrière son compatriote Tommie Smith et l'australien Peter Norman lors du 200 mètres des Jeux olympiques de Mexico[4], Carlos et Smith deviennent célèbres en tendant leur poings gantés de noir afin de symboliser l'unité du peuple noir à la cérémonie de remise des médailles le [1]. Les deux athlètes montent sur le podium en chaussettes noires sans chaussures afin de dénoncer le racisme envers les Noirs aux États-Unis[1]. Tommie Smith porte un foulard au cou et John Carlos un collier en référence aux lynchages des Noirs dont ceux du Sud ont été très longtemps victimes[1]. En signe de soutien, Peter Norman, un athlète blanc, porte un badge de l’OPHR. Les trois athlètes sont hués par les spectateurs[1].
Le président du CIO, Avery Brundage, déclare qu'une protestation concernant la politique intérieure d'un pays n'a pas sa place au sein d'un évènement apolitique tel que les Jeux olympiques. En réponse à leur action, il ordonne que Smith et Carlos soient suspendus de l'équipe américaine et bannis du village olympique. Les deux athlètes seront suspendus puis exclus à vie des Jeux Olympiques[5]. À la suite de ce geste, les deux hommes recevront des menaces de mort contre eux et leur famille.
Après 1968
Carlos connaît sa meilleure année en 1969 : il égale le record du monde du 100 verges (91,4 m) en 9,1 secondes à Fresno[6], gagne la course des 220 mètres des championnats de l'AAU[7] et permet à l'Université d'État de San José de gagner son premier championnat de la NCAA avec des victoires lors des 100 et 220 mètres et en participant au relais 4 × 110 mètres[8]. Il établit les records du monde en salle des 60 verges (5,9 secondes) et 220 mètres (20,2 s).
En 2005, une statue montrant Carlos et Smith sur le podium du 200 m des Jeux Olympiques de 1968 est érigée sur le campus de l'université d'État de San José[12]. À la place du numéro 2, celle où se tenait l'Australien Peter Norman, on peut voir une plaque qui rend hommage au soutien de Peter Norman pour ses collègues athlètes, et qui invite le passant à prendre parti en prenant la place et en devenant un acteur de la statue.
Le , soit plusieurs décennies après avoir été ignorés, Smith et Carlos sont reçus à la Maison Blanche par le président Barack Obama.
Le , il est intronisé en compagnie de Tommie Smith au Hall of Fame du Comité olympique et paralympique américain au cours d'une cérémonie à Colorado Springs, ce qui constitue la première promotion depuis 2012[13],[14]. À cette occasion, John Carlos déclare à l'agence Reuters : « Nous avons compris après 51 ans que la plus grande invention n'était ni l'avion, ni la télévision, ni le téléphone, mais la gomme : comprendre qu'on peut faire des erreurs dans la vie et qu'il ne doit pas y avoir de honte [à les effacer]. Je pense que le Comité est arrivé à cette conclusion »[14].