Kolher begon zijn carrière als centrale verdediger in 1975 bij TB Jahn Lambsheim. Hier bleef hij spelen tot december 1981 waarna hij in januari 1982 vertrok naar Waldhof Mannheim. Hiermee promoveerde hij in 1983 naar de Bundesliga. In het betaalde voetbal aangekomen, liet hij een goede indruk achter. Dit resulteerde in 1986 tot het debuut bij het West-Duitse elftal. Vervolgens vertrok hij in 1987 naar 1. FC Köln.
Hij ontwikkelde zich tot een goede centrale back en dwong daarmee een transfer af naar het grote Bayern München. Daar won hij in het seizoen 1989/1990 meteen het landskampioenschap mee. In hetzelfde jaar vierde hij ook het grootste succes uit zijn carrière: met West-Duitsland won hij het WK voetbal van 1990 in Italië door in de finale Argentinië met 1-0 te verslaan.
Na nog een seizoen bij Bayern München te hebben doorgebracht, vertrok "Der Kokser" in 1991 voor omgerekend 7,5 miljoen euro naar Juventus. Hier voetbalde hij vier jaar met succes en werd in zijn eerste jaar verkozen tot Italiaans voetballer van het jaar. Het tweede succes kwam in 1993 toen de UEFA Cup werd gewonnen door Borussia Dortmund in de finale te verslaan. Twee jaar later stond hij opnieuw in de finale, ditmaal tegen AC Parma. Deze editie werd echter verloren van Parma. Ondanks het verlies werd in het seizoen 1994/1995 wel de Scudetto gewonnen en de Coppa Italia, ditmaal wel ten koste van AC Parma.
Na dit succes keerde Kohler terug naar Duitsland, waar hij koos voor de club waartegen hij twee jaar daarvoor speelde in de UEFA Cup-finale, Borussia Dortmund. Hij werd hier al snel publiekslieveling door zijn vechtersmentaliteit. In zijn eerste seizoen werd hij meteen landskampioen. Daarmee dwong het directe plaatsing af voor de UEFA Champions League, wat zorgde voor een bijzonder succesvolle periode. De vijfde editie van het Europese miljoenenbal werd namelijk onder leiding van succestrainer Ottmar Hitzfeld gewonnen door "Die Borussen". De finale was hetzelfde als die van twee jaar geleden in UEFA Cup-verband. Opnieuw stond de Italiaanse landskampioen Juventus in de finale. Borussia begon als underdog, maar had geen ontzag voor de Italiaanse grootmacht waar onder andere Zinédine Zidane, Christian Vieri en Alessandro Del Piero op het veld stonden. De finale werd met 3-1 gewonnen. Na dit goede seizoen werd de verdediger verkozen tot Duits voetballer van het jaar. Een jaar later werd de wereldbeker aan de erelijst toegevoegd en mocht Borussia Dortmund zich voor een jaar wereldkampioen noemen.
Kohler behoorde ook tot de selectie die in 1996 het EK voetbal in Engeland won. Hij blesseerde zich echter in de eerste wedstrijd tegen de latere mede-finalist, Tsjechië. Zodoende kwam hij de rest van het toernooi niet meer in actie.
Het duurde enkele jaren totdat in 2002 opnieuw het Duits landskampioenschap werd gewonnen. Ook Europees ging het weer voor de wind, want Borussia Dortmund bereikte in datzelfde jaar de finale van de UEFA Cup. In de finale was Feyenoord dit keer de tegenstander. De wedstrijd verliep echter desastreus voor Kohler, want in de 31e minuut maakte hij een overtreding in het strafschopgebied. Hij kreeg hiervoor rood en het leverde Feyenoord een strafschop op. Deze werd vervolgens benut door Pierre van Hooijdonk en hij scoorde daarmee de 1-0. Uiteindelijk verloor Borussia de finale met 3-2 en liep daarmee de UEFA Cup-winst mis. Het was een tragisch einde voor de succesvolle Duitser, waarmee de finale in De Kuip ook de laatste officiële wedstrijd uit zijn carrière was.
Na 398 Bundesliga-optredens, met daarin 28 doelpunten, speelde Kohler op 12 oktober 2002 zijn afscheidsduel in het Westfalenstadion.
Al bijna een jaar voor zijn afscheid als voetballer, maakte de DFB bekend dat Kohler na zijn actieve carrière aan de slag zou gaan als bondscoach van Duitsland onder 21. Hij bleef hier echter maar een korte periode, want op 31 maart 2003 werd bekendgemaakt dat de oud-verdediger zou beginnen als sportdirecteur bij Bayer Leverkusen. Ruim een jaar later, op 29 juni 2004, stopte hij hier alweer mee.
Na een afwezigheid van meer dan jaar keerde hij op 17 december 2005 terug als betaaldvoetbaltrainer bij MSV Duisburg. Ook hier hield hij het niet lang vol, want op 4 april 2006 werd hij ontslagen vanwege de teleurstellende prestaties. In de zomer van 2006 kreeg hij vervolgens een aanbieding om bondscoach te worden van Ivoorkust, maar sloeg deze aanbieding af. Zijn vrouw was bang voor het gebrek aan veiligheid in het Afrikaanse land.
Het bleef twee jaar lang stil rondom Kolher, totdat hij in augustus 2008 een driejarig contract tekende bij VfR Aalen. Door hartkwalen moest hij in november al terugtreden als trainer en bekleedde vanaf dat moment de functie van sportdirecteur bij dezelfde club. Na deze periode was Kohler nog hoofdtrainer bij SpVgg Wirges, SC Hauenstein, VfL Alfter en Viktoria Köln.
.svg){kind=small}
.svg){kind=small}
.svg){kind=small}
.svg){kind=small}
.svg){kind=small}
