Cariera de fotbalist a terminat-o la Groningen în 1998 devenind apoi antrenor de juniori la PSV. În octombrie 2001 a fost promovat secundul lui Eric Gerets, în sezonul 2004-05 devenind antrenor principal la RKC Waalwijk. A condus echipa RKC un sezon, după care a trecut la Feyenoord Rotterdam. În martie 2006 a extins contractul până în 2009 cu Feyenoord Rotterdam, însă la 3 mai 2007, Koeman și-a anunțat demisia din cauza problemelor de motivare a echipei, după un sezon ratat în Eredivisie, unde Feyenoord a terminat pe un dezamăgitor loc 7.
La 1 mai 2008 Erwin Koeman a devenit selecționerul echipei naționale a Ungariei, debutul pe bancă fiind făcut la 24 mai cu o victorie contra Greciei care era deținătoarea titlului european (Euro 2004).