Som profesjonell spiller spilte han på midtbanen for Royal Antwerp FC, Stormvogels Telstar, Sparta Rotterdam og AZ Alkmaar. Van Gaal startet sin trenerkarriere som assistent i AZ Alkmaar. Han var så assistent under Leo Beenhakker i Ajax, og tok deretter over som hovedtrener i 1991. Under hans ledelse vant klubben Eredivisie (tre ganger), UEFA-cupen og Mesterligaen. Van Gaal flyttet videre til Barcelona i 1997 og vant ligaen der to ganger samt en Copa del Rey. Etter dette vant han Eredivisie med AZ Alkmaar i 2008–09. Han ble ansatt som trener for Bayern München i 2009, hvor han vant ligaen og kom til finalen i Mesterligaen. I 2012 ble han for andre gang trener for det nederlandske landslaget. 19. mai 2014 skrev han under på en treårskontrakt for Manchester United.
Van Gaal er kjent for sin angrepsfotball - totalfotball - utviklet av Ajax og det nederlandske landslaget på 1970-tallet.