Après avoir commencé le hockey en jouant pour les Frontenacs de Kingston[Note 1] en tant que junior en 1916, il fait une pause dans sa carrière le temps de la Première Guerre mondiale. Il revient avec les Frontenacs après la guerre puis rejoint les Greyhounds de Sault Ste. Marie pour qui il joue entre 1920 et 1922. Il signe alors pour les Crescents de Saskatoon de la Western Canada Hockey League avec lesquels il remporte à deux reprises le titre de meilleur pointeur de la saison, notamment en 1925-26, saison où il inscrit 31 buts en 30 matchs[1].
Dans la LNH
Alors que la WCHL met un terme à ses activités à l'issue de cette saison, il est le premier joueur à signer avec les Rangers de New York de la Ligue nationale de hockey. Il rejoint les Rangers le dans la nouvelle franchise de la LNH[2]. Il devient alors le premier capitaine de l'histoire de la franchise et le premier buteur de l'histoire de la franchise lors d'une victoire 1-0 contre les Maroons de Montréal le [3].
Il reste le capitaine de l'équipe de son premier match en jusqu'à son départ de la franchise en 1937 où il forme la Bread Line avec son frère Bun et Frank Boucher. Cette ligne marque tous les buts des Rangers au cours de la finale de la coupe Stanley en 1928 pour emmener l'équipe vers sa première victoire. Il est également capitaine quand les Rangers remportèrent leur deuxième coupe en 1932-1933.
Il est sélectionné dans la première équipe d'étoiles de la LNH les trois premières années de son existence, de 1931 à 1933 ainsi que dans la deuxième équipe l'année suivante. Il finit meilleur pointeur de la LNH à deux reprises : lors de la première saison de la franchise en 1927 et en 1933 pour la seconde Coupe Stanley de l'équipe[Note 2].
Il met fin à sa carrière dans la LNH en 1937 et joue une saison avec les Barons de Cleveland de l'International American Hockey Ligue, ancêtre de la Ligue américaine de hockey. Lors de cette ultime saison, il est joueur de l'équipe mais également entraîneur et rejoint la ligue la même année que son frère Bun, entraîneur-joueur des Reds de Providence[4].
Il est alors contacté par les Rangers pour prendre la suite de Neil Colville au cours de la saison 1951-1952 et il ne peut refuser, son ancien coéquipier et ami, Frank Boucher, faisant appel à lui. Il ne reste que deux saisons à la tête des Rangers avant de quitter définitivement le monde du hockey sur glace[1].
Il est intronisé au temple de la renommée du hockey en 1952. En 1998, il est classé à la 44e position par The Hockey News dans la liste des 100 plus grands hockeyeurs de l'histoire.