Jürgen Kohler commence sa carrière professionnelle en 1983 dans le club de Waldhof Mannheim mais c'est lorsqu'il rejoint le Bayern Munich en 1989 qu'il remporte son premier titre: le championnat d'Allemagne en 1990. Ce sera le premier d'une longue série de trophées. Il se forge vite une réputation de défenseur intransigeant et solide qui attire l'intérêt du sélectionneur de l'équipe de RFA, Franz Beckenbauer. Ce dernier cherche de nouveaux défenseurs susceptibles de remplacer la génération vieillissante des Förster et autres Briegel. Kohler devient alors avec Klaus Augenthaler et Guido Buchwald l'un des piliers de la défense de fer de la Mannschaft. C'est fort de cette défense que l'équipe de RFA remporte la Coupe du monde de football en 1990. Ce tournoi récompense alors une génération de joueurs allemands exceptionnels tels que Jürgen Klinsmann, Thomas Häßler ou Lothar Matthäus.
En 1991, comme de nombreux autres joueurs allemands de sa génération, il rejoint la Série A italienne, considérée à l'époque comme le meilleur championnat européen. Il signe à la Juventus Turin, où il retrouvera deux de ses coéquipiers de sélection : Andreas Möller et Stefan Reuter. Il est pendant 4 ans l'un des joueurs cadres des Bianconeri. Avec le club piémontais, il remporte un titre de champion d'Italie en 1995 et la Coupe UEFA en 1993.
À la fin de la saison 1995, il retourne en Allemagne et rejoint le Borussia Dortmund où il retrouve ses deux anciens coéquipiers de la Juventus: Möller et Reuter. Le Borussia Dortmund est à l'époque l'un des clubs les plus en vue de la Bundesliga, et a construit son équipe autour de nombreux internationaux allemands ayant évolué en Série A tels que Andreas Möller, Stefan Reuter, Matthias Sammer et Jürgen Kohler. Les résultats ne se font pas attendre. En 1996, Dortmund remporte le championnat d'Allemagne et l'année suivante, en 1997, la Ligue des Champions. Ironie du sort, Kohler remporte le trophée en battant en finale son ancien club, la Juventus Turin. Kohler est l'un des grands artisans du parcours de Dortmund dans le tournoi et est même récompensé du titre de Footballeur de l'année en Allemagne.
Ces succès avec son club rejaillissent sur la sélection nationale, composée en grande partie de joueurs du Borussia Dortmund. En 1996, il gagne l'Euro 1996 avec ses coéquipiers de club, Stefan Reuter, Fredi Bobic et Matthias Sammer, Néanmoins, ce titre ne reste pas comme l'un des plus grands faits de la carrière de Kohler. Gravement blessé dès le premier match, il ne reste que quatorze minutes sur le terrain, qui s'avérent pour lui être les dernières du tournoi. C'est son dernier titre avec la Mannschaft. Deux ans plus tard, il arrête sa carrière internationale après une sévère défaite en quart de finale de Coupe du monde (3-0) contre la Croatie. Avec 105 sélections, il est l'un des joueurs les plus capés de l'histoire de l'équipe allemande[1].
Il reste fidèle au Borussia Dortmund jusqu'à la fin de sa carrière en 2002, après son troisième titre de champion d'Allemagne[2],[3].
Il joue le dernier match de sa carrière professionnelle face au Feyenoord Rotterdam en finale de la Coupe UEFA 2002, lors duquel il se fait exclure après 31 minutes de jeu pour une faute dans la surface en tant que dernier défenseur. Ensuite, il devient sélectionneur de l'équipe espoir allemande de football et directeur sportif du Bayer Leverkusen le , poste qu'il quitte le . Du au , il est entraîneur du MSV Duisburg.
Particularités
Jürgen Kohler est considéré comme l'un des meilleurs défenseurs de sa génération. Il était connu pour être un défenseur puissant, athlétique et difficile à battre dans les duels, particulièrement dans les airs où il excellait. Grâce à son jeu de tête, il a marqué de nombreux buts durant sa carrière. Il n'était pas reconnu pour sa vitesse de pointe mais compensait grâce à son placement, sa concentration et sa lecture du jeu[4].