Cet intérieur de 2,08 mètres et 100 kilos devient le premier choix de la draft 1995. Au sein des Warriors de Golden State il effectue une première bonne saison, toutefois insuffisante pour être élu rookie de l'année, mais suffisamment bonne pour être élu dans la All-Rookie First Team, qui honore les cinq meilleurs débutant de l'année.
Cet intérieur au physique de gazelle ne connait pas les mêmes succès que durant ses deux années universitaire, en NBA. Après 2 saisons et demie à Golden State, il est échangé aux 76ers de Philadelphie, Golden State craignant sans doute qu'il signe ailleurs en fin de saison. Joe Smith vient alors de réaliser les meilleures saisons de sa carrière; jamais il ne réussira ailleurs à réaliser les mêmes performances statistiques (environ 18 points et 8 rebonds de moyenne). Smith ne jouera que 30 matchs à Philadelphie avant de quitter le club à la fin de la saison pour rejoindre les Timberwolves du Minnesota.
La suite de sa carrière est moins glorieuse, après deux ans dans le Minnesota, il signe un contrat frauduleux avec les Timberwolves (le contrat était préarrangé). La NBA casse le contrat et sanctionne Minnesota en leur suspendant plusieurs futurs premiers tours de draft.
Joe Smith rejoint alors les Pistons de Détroit pour une saison, avant de resigner un contrat, légal cette fois dans le Minnesota, mais après deux saisons très moyennes, il est expédié aux Bucks de Milwaukee en échange de Sam Cassell. Dans le Wisconsin, il retrouve un poste de titulaire au sein d'une équipe, il est vrai relativement pauvre dans le secteur intérieur.
Le Joe Smith est envoyé aux Cavaliers de Cleveland dans un échange de 11 joueurs entre 3 équipes[1].
Il signe pour la saison 2008-2009 avec le Thunder d'Oklahoma City, mais est coupé en février[2] pour être libre de signer avec les Cavaliers[3].
