Joe Gray commence le rugby avec le Nottingham RFC. Pendant sa jeunesse, il joue avec le club scolaire de rugby à XV du comté de Nottingham ainsi qu'avec le club des trois comtés qui réunit des joueurs du Nottinghamshire, du Lincolnshire et du Derbyshire.
En 2020-2021, les Harlequins se qualifient jusqu'en finale du championnat où il affronte les Exeter Chiefs. Pour cette rencontre, Joe Gray commence sur le banc des remplaçants avant d'entrer en jeu en seconde période à la place de Scott Baldwin. Son équipe s'impose en toute fin de match 38-40, grâce à un doublé de Louis Lynagh[3],[4].
Carrière internationale
En , Joe Gray est appelé par le sélectionneur anglais Stuart Lancaster dans le groupe pour préparer la tournée en Nouvelle-Zélande[5]. Il connait sa seule unique et unique cape internationale le lors d'une défaite 20 à 15 contre les All Blacks[6].
