Han la opp etter sesongen 2006-07. Scholl spilte det meste av karrieren som offensiv midtbanespiller for FC Bayern München. I løpet av karrieren vant han UEFA-cupen (1996), EM 1996, Mesterligaen (2001), samt åtte tyske mesterskap (samtlige med Bayern München).
Scholl spilte for Karlsruher SC (fra 1982 til 1992) før han gikk til Bayern München i juli 1992, der han ble resten av karrieren.
Scholl spilte 36 kamper for Tysklands landslag mellom 1995 og 2002, og scoret åtte mål. Scholl var plaget av skader gjennom karrieren, noe som forhindret ham fra å få en fast plass på landslaget.