Il est connu pour avoir joué à Newcastle United entre 1908 et 1914.
Shepherd était connu pour son grand charisme et son fort caractère, ainsi que son agressivité sur le terrain.
Il rentre dans l'histoire en étant le premier joueur à inscrire un penalty en finale de la FA Cup. Il joue 132 matchs pour Newcastle, et inscrit 94 buts, Il gagne en tout une FA Cup et un championnat anglais.