Sélectionné pour Jeux olympiques de Londres, en 1908, Taylor se qualifie pour la finale du 400 m en compagnie de ses compatriotes John Carpenter et W.C Robbins, et du Britannique Wyndham Halswelle. Carpenter remporte l'épreuve mais est accusé par le jury de course d'avoir gêné Halswelle. Les juges décident par conséquent de disqualifier Carpenter et de faire recourir la finale le surlendemain. Par solidarité avec leur compatriote, W.C Robbins et John Taylor décident de ne pas prendre le départ de la deuxième course, laissant la victoire à Wyndham Halswelle, seul concurrent présent. Aligné en fin de compétition dans l'épreuve du relais olympique, nouvelle discipline composée successivement de deux 200 m, d'un 400 m, puis d'un 800 m, John Taylor, remporte la finale, en tant que troisième relayeur, aux côtés de William F. Hamilton, Nathaniel Cartmell et Mel Sheppard. L'équipe américaine signe le temps de 3 min 29 s 4 et devance finalement l'Allemagne et la Hongrie.
John Taylor succombe à la fièvre typhoïde en 1908, moins de cinq mois après ses exploits olympiques.