Ballack begyndte med fodbold hos BSG Karl-Marx Stadt, og fik i 1995 sin første professionelle kontrakt hos Chemnitzer FC (dengang 2. Bundesliga). I 1997 skiftede han til 1. FC Kaiserslautern (hvor han blev mester i sin første sæson), hvorfra han skiftede til Bayer 04 Leverkusen i 1999. Her spillede han indtil sommeren 2002, hvor han skiftede til de tyske rekordmestre Bayern München. Fra 2006 til 2010 spillede han hos engelske Chelsea F.C., hvorefter han på fri transfer skiftede tilbage til Bayer Leverkusen.
Han har været anfører for det tyske landshold (Nationalmannschaft) siden 2004 og har (pr. august 2010) spillet 98 landskampe og scoret 42 mål. Ballack har trøjenummer 13 som kendetegn både i klubben og på landsholdet. Han er desuden udnævnt til Årets fodboldspiller i Tyskland i både år 2002, 2003 og senest i 2005.