بدأ مسيرته الكروية مع نادي شالكه في عام 1983، ولعب معهم حتى سنة 1988، وقد شارك معهم في 157 مباراة وسجل 56 هدف، وفي سنة 1988 انتقل إلى نادي بايرن ميونخ الألماني، ولعب معهم حتى سنة 1994، وشارك معهم في 148 مباراة وسجل 30 هدف، وفي سنة 1994 انتقل إلى نادي شالكه الألماني، ولعب معهم حتى سنة 2002، وقد شارك في تلك الفترة في 166 مباراة وسجل 10 أهداف.
لعب أولاف تون خلال مسيرته الاحترافية مع ناديين في تسعة عشر موسمًا وسجل خلالها 96 هدفًا ضمن 481 مباراة. حيث فاز في موسمين بالكأس وفي موسمين بالدوري.
خاض أولاف تون مسيرته مع نادي شالكه 04 في موسم 1983–84 في المرة الأولى ليلعب معه ستة مواسم ثم في موسم 1994–95 ليلعب معه ثمانية مواسم، مشاركًا طوالها في 365 مباراة سجل خلالها 74 هدفًا. ثم انتقل إلى نادي بايرن ميونخ في موسم 1989–90 ليلعب معه خمسة مواسم، حيث شارك في 116 مباراة سجل خلالها 22 هدفًا.[5]