Taylor wuchs ähnlich wie seine späteren Konkurrenten Harry Vardon und James Braid in bescheidenen Verhältnissen auf. Als er noch ein kleines Kind war, starb sein Vater. Früh, im Alter von elf Jahren, arbeitete er im benachbarten Royal North Devon Golf Club, auch bekannt als Westward Ho! Golf Club. Anfangs putzte er Schuhe, später wurde er Caddie. Im Alter von 19 Jahren wurde er Golf-Pro und arbeitete bei einigen Clubs der Umgegend. Letztendlich blieb er beim Royal Mid Surrey Club.[1] Ursprünglich hatte Taylor eine Laufbahn bei der Royal Navy einschlagen wollen. Aufgrund seiner Kurzsichtigkeit und von Plattfüßen wurde aus der Karriere bei der Marine jedoch nichts.[2]
Anders als Braid hatte Taylor schon im frühen Alter großen Erfolg. 1894 gewann er im Alter von 23 Jahren als erster Engländer bei der British Open in Royal St. George, dem ersten Austragungsort in England. 1895, 1900, 1909 und 1913 sollten noch vier weitere Titel folgen. Selbst im hohen Alter blieb er noch konkurrenzfähig. Schon über 50 Jahre alt, platzierte er sich 1922 (6. Rang), 1924 (5.), 1925 (geteilter 6.) noch in den Top Ten.
Auch nach seiner Zeit als Aktiver blieb Taylor dem Golfsport verbunden. Er war als Clubmaker aktiv (Hersteller von Golfschlägern). Gemeinsam mit James Braid trieb er die Gründung der British Professional Golfers Association (1901) voran. Zugleich wurde er ihr erster Präsident. 1933 war er Kapitän des britischen Ryder-Cup-Teams. Zudem schrieb er, der früh die Schule verlassen musste und sich durch das Lesen von Dickens und Boswell bildete, Bücher. Ohne einen Ghostwriter verfasste er das Buch Golf, My Life's Work.[3]
1963, kurz vor seinem 92. Geburtstag, starb der letzte große Golfer des 19. Jahrhunderts.