Smith ble knyttet til Leeds United AFC i 1990, da han var ti år gammel. Han ble da tilknyttet «the Leeds United Centre of Excellence». I mars 1998 ble han tatt opp i A-stallen til Leeds, etter å ha signert proffkontrakt 1. oktober 1997.
I 1998/99-sesongen fikk Smith sin debut for Leeds, i en kamp på Anfield mot Liverpool FC. Smith scoret med sin første ballberøring, og ble en umiddelbar suksess for klubben. I sin første sesong fikk han mye spilletid, og dannet sammen med Jimmy Floyd Hasselbaink et fryktet spisspar.
I 2001 hjalp Smith laget sitt med å komme til semifinalen i Mesterligaen. Champions League-eventyret endte imidlertid med en utvisning i semifinalen, da Leeds ble utslått til fordel for John CarewsValencia CF.
Neste sesong ble Smith omskolert til en sentral midtbanerolle. Han fikk også mer spilletid på Englands landslag dette året, etter at han fikk sin debut i mai 2001. Smith ble imidlertid ikke funnet verdig til en plass i troppen til VM i fotball i 2002.
Manchester United
I mai 2004 gikk Smith bort fra Leeds, etter at klubben rykket ned fra FA Premier League. Han ble da stemplet som en Judas, etter at han valgte å gå til erkerivalen Manchester United. Overgangssummen var 7 000 000 pund.
Smith kom på scoringslisten i sin første kamp for Manchester United, da han scoret et mål i FA Community Shield-kampen mot Arsenal. I sin første sesong for United ble det anstendige ti mål på Smith, noe som har fått mange til å sammenligne ham med den tidligere United-helten Mark Hughes.
På tross av at Smith hevdet at han vil forbli lojal mot United, spekulerte mange i at han var på vei bort fra klubben. Han har hadde problemer med å spille seg til fast plass på laget på grunn av den harde konkurransen med verdenstopper som Ruud van Nistelrooy og Wayne Rooney, og ble derfor ofte blitt plassert på benken. Smith brakk foten i en kamp mot Liverpool FC der han blokkerte et skudd fra John Arne Riise.[2]
Sommeren 2005 gikk Uniteds manager Alex Ferguson ut i media og sa at Smith var tiltenkt rollen som erstatter for midtbanemotoren Roy Keane. I 2005/06-sesongen spilte derfor Smith ofte på midtbanen.
Newcastle United
Etter en tid med mange rykter om Smiths fremtid på Old Trafford, ble han 3. august 2007 klar for Newcastle United FC.
MK Dons
Smith ble i 2012 lånt ut til MK Dons. Dette ble etterhvert gjort permanent. Før 2014/2015-sesongen signerte Smith for Notts County i League One.
