Koeman spillede i løbet af sin 20 år lange karriere hos FC Groningen og PSV Eindhoven i hjemlandet, samt hos belgiskeKV Mechelen.[1] Længst tid tilbragte han hos Groningen, hvor han var tilknyttet af tre omgange, og nåede at spille over 200 ligakampe.
Koeman spillede desuden 31 kampe og scorede to mål for det hollandske landshold, som han debuterede for 27. april 1983 i en venskabskamp mod Sverige.[2] Han var en del af den hollandske trup, der vandt guld ved EM i 1988 i Vesttyskland.[3] Her spillede han fire af hollændernes fem kampe, heriblandt finalesejren over Sovjetunionen. To år senere deltog han også ved VM i 1990 i Italien.[4] Her fik han dog kun spilletid i én af kampene i turneringen, hvor hollænderne blev slået ud i 1/8-finalen.
I store dele af sin landsholdskarriere var Koeman holdkammerat med sin lillebror, Ronald Koeman.