Parker startet sin karriere hos Fulham i 1982, hvor han spilte over 150 kamper og skåret et par mal under managerne Malcolm Macdonald, Ray Harford og Ray Lewington frem til 1987. Dette året meldte han overgang til Queens Park Rangers, hvor han bemerket seg som en kald og besluttsom forsvarsspiller (midtstopper) til tross for sin lave høyde. Hans spill ble bemerket av landslagets trener Bobby Robson, som gav ham sin landslagsdebut som høyreback mot Albania i 1989. Parker fortsatte å spille midtstopper hos QPR mens han samtidig fikk innhopp mellom kampene til Gary Stevens som høyreback på landslaget.
Parker ble tatt ut som reservespiller til troppen for VM i fotball i 1990, men etter at Gary Stevens ikke innfridde under den første gruppespillkampen mot Irland fikk Parker tillit fra start i andre kamp og bemerket seg gjennom hele turneringen på backplass bak den høyre kantspilleren Chris Waddle. Bobby Robsons erstatter som landslagssjef, Graham Taylor, valgte ArsenalsLee Dixon fremfor Parker under kvalifiseringen til EM i fotball 1992. Både Parker, Dixon, Stevens og Rob Jones ble alle skadet til gruppespillet, slik at Taylor ble tvunget til å velge en sentral midtbanespiller på høyre backplass. England røk for øvrig ut av turneringen i gruppespillet.
Den 8. august1991 meldte Parker overgang fra QPR til Manchester United for to millioner pund, og som ren høyreback debuterte Parker for United mot Notts County senere den samme måneden. Uheldigvis for Parker ble han rammet av flere skader under sitt fem år lange opphold i klubben, og mens Alex Ferguson og United begynte å dominere engelsk fotball på midten av 1990-tallet fikk Parker mindre spilletid. Han var for øvrig med på å vinne ligacupen i 1992 og tittelmedaljen i serien året etter. I 1994 var han også med på å vinne «The Double» med seriemesterskap og seier i FA–cupen. I 1995 og 1996 ble Parker etterhvert forbigått av Gary Neville, som siden tok fra ham plassen for godt både i United og for England.
På slutten av 1996–sesongen ble Parker frigitt av United og signerte umiddelbart for Derby County, som nettopp hadde rykket opp til Premier League. Parker klarte ikke å spille seg til en fast plass på førstelaget på høstsesongen, og gikk i november videre til Sheffield United hvor han heller ikke klarte å spille seg til mange kamper. Derfra gikk han videre til moderklubben Fulham og siden til Chelsea. Han hadde et kort opphold i Farnborough Town før han la opp som aktiv fotballspiller og satset på en fremtidig trenerkarriere. I juni 2001 ble han manager for Chelmsford City.
