Oliver karierę piłkarską rozpoczynał w klubie Karlsruher Sportclub. Pierwszy swój trening rozpoczął w 1975 (mając zaledwie 6 lat). W 1987 przebił się do pierwszego składu, wcześniej występował w juniorach. W sumie w Karlsruher rozegrał 128 meczów ligowych. W 1994 przeniósł się do Bayern Monachium w którym występował do końca swojej kariery.
7 kwietnia 2006 trener reprezentacji Niemiec Jürgen Klinsmann ogłosił, że to Jens Lehmann będzie pierwszym bramkarzem reprezentacji Niemiec podczas Mistrzostw Świata 2006. Kahn był rozczarowany tą decyzją, zdecydował się jednak pozostać w zespole w roli rezerwowego, a przed serią rzutów karnych w ćwierćfinałowym meczu z Argentyną podał rękę golkiperowi Arsenalu. Na niemieckim Mundialu wystąpił tylko jeden raz – w meczu z Portugalią o trzecie miejsce. Jak się później okazało, był to pożegnalny występ Kahna w barwach narodowych.
Zakończenie kariery
Karierę piłkarską zakończył 17 maja 2008. Ostatni mecz w barwach Bayernu rozegrał 2 września 2008 roku, było to spotkanie towarzyskie FC Bayern-Niemcy.
