Schon in den letzten Jahren seiner aktiven Fußballerkarriere trainierte van Marwijk erste Jugendteams. Über die Stationen FC Herderen, RKVCL Limmel, SV Meerssen und Fortuna Sittard landete er im Jahr 2000 schließlich als Übungsleiter bei Feyenoord Rotterdam, wo er vier Jahre lang angestellt war. Sein größter Erfolg war hier der Gewinn des UEFA-Pokals, den er 2002 im Finale mit 3:2 gegen Borussia Dortmund gewann. Sein Nachfolger in Rotterdam wurde Ruud Gullit.
Erste Station in der Bundesliga: Borussia Dortmund
Am 1. Juni 2004 unterzeichnete van Marwijk gemeinsam mit Dick Voorn bei Borussia Dortmund einen Zweijahresvertrag, der am 28. Mai 2005 vorzeitig bis zum 30. Juni 2007 und am 26. Juli 2006 nochmals bis zum 30. Juni 2008 verlängert wurde. Am 2. Dezember 2006 bestätigte van Marwijk allerdings Presseberichte, wonach er den Verein zum 30. Juni 2007 verlassen werde. Zwei Wochen später, am 18. Dezember 2006, wurde er als Cheftrainer der Borussia entlassen. Als Nachfolger verpflichteten die Dortmunder Jürgen Röber.
Rückkehr zu Feyenoord und Bondscoach
In der Saison 2007/08 war van Marwijk erneut Trainer bei Feyenoord Rotterdam. Er unterschrieb im Sommer 2007 einen Zweijahresvertrag, den er jedoch nicht erfüllte, da er nach der Europameisterschaft 2008 die niederländische Nationalmannschaft als Nachfolger von Marco van Basten übernahm. Dennoch führte er das Team zum Pokalsieg. Sein Vertrag mit dem Koninklijke Nederlandse Voetbal Bond wurde im März 2010 bis einschließlich der Europameisterschaft 2012 verlängert. Mit der niederländischen Nationalmannschaft gelangte er bei der Fußballweltmeisterschaft 2010 in Südafrika bis ins Finale, das allerdings gegen Spanien mit 0:1 nach Verlängerung verloren wurde. Bei der Europameisterschaft 2012 verloren die Niederlande unter seiner Leitung als Trainer alle drei Spiele in der Vorrunde und schieden aus. Für die Niederlande war es das schlechteste Turnierergebnis überhaupt. Am 27. Juni 2012 trat van Marwijk als Nationaltrainer zurück.[1]
Rückkehr in die Bundesliga: Hamburger SV
Nach etwas über einem Jahr ohne Anstellung übernahm van Marwijk am 25. September 2013 die auf dem 16. Tabellenplatz stehende Bundesligaelf des Hamburger SV vom zuvor entlassenen Thorsten Fink. Er kehrte somit nach rund sieben Jahren in die höchste deutsche Spielklasse zurück. Beim HSV unterschrieb van Marwijk einen Vertrag bis zum 30. Juni 2015 mit einer Option auf eine weitere Spielzeit und brachte Co-Trainer Roel Coumans mit an die Elbe.[2] Nach einer anfänglichen Steigerung bis zur Winterpause mit Platz 14 stellte der Verein unter van Marwijk im Februar 2014 einen negativen Vereinsrekord ein. Noch nie zuvor hatten die Hamburger in ihrer 51-jährigen Bundesligazugehörigkeit sieben Spiele nacheinander verloren. Nach einer 2:4-Niederlage beim Tabellenletzten Eintracht Braunschweig wurde van Marwijk am 15. Februar 2014 schließlich entlassen.[3]
Nationaltrainer von Saudi-Arabien
Am 1. September 2015 wurde van Marwijk Trainer der Saudi-arabischen Fußballnationalmannschaft.[4] Nach gescheiterten Verhandlungen über eine Vertragsverlängerung trennte sich der Verband im September 2017 von ihm.[5]