Il a quitté les Americans en 1929 pour s'engager dans la course de chevaux. Il a été responsable de l'hippodrome d'Agua Caliente au Mexique. En 1932, Gorman a acheté le légendaire cheval Phar Lap qui a remporté 100 000 dollars durant un championnat à Agua Caliente avant de mourir dans des circonstances mystérieuses à San Francisco. Quand le président d'Agua Caliente a vendu l'hippodrome en 1932, Gorman a été hors du monde sportif durant un bout de temps.
Durant la seconde partie de la saison 1932-1933, il a été engagé comme entraîneur chef des Black Hawks de Chicago et est devenu directeur général aussi la saison suivante. Il a mené cette franchise à leur première victoire de la Coupe Stanley en 1934. À la suite de son succès à Chicago, il est venu à Montréal et a aidé les Maroons de Montréal à remporter leur seconde Coupe Stanley en 1935. Finalement, en 1941, il est devenu directeur général des Canadiens de Montréal et les a mené vers la victoire de la Coupe Stanley en 1944 et 1946.
Il était directeur général de cette équipe quand Maurice « Rocket » Richard en est devenu membre. Gorman a écrit à propos de Richard, « Maurice Richard, sans doute le plus grand joueur que j'aie jamais engagé. Il m'avait été recommandé par Art Thérien, de Verdun, et n'a pas coûté un dollar aux Canadiens. Nous avons découvert Richard sur une patinoire extérieure à Bordeaux. »[1]
