Direkt efter pensionering från spelarkarriären var han först talangscout för Athletics och var därefter en av coacherna som ingick i ledningen för samma klubb. 1966 kom han till New York Mets, först som en av coacherna men därefter som huvudansvarig för spelarutveckling i den ganska nybildade klubben. Han stannade med Mets tills han fick chansen som huvudansvarig tränare för Texas Rangers – det vill säga hans egen gamla klubb Washington Senators som flyttats och bytt namn. Han blev kvar i Rangers en säsong och gick sedan vidare till California Angels för en säsong. Hans nästa klubb blev Kansas City Royals som han var tränare för 1975–1979. Under hans ledning vann Royals sin division tre gånger.
1980 tog han över som både sportchef och tränare för den klubb han mest förknippas med, St. Louis Cardinals. Han var bara sportchef fram till 1982, men kvarstod som tränare under lång tid. Under elva säsonger fram till 1990 ledde han Cardinals till en seger i World Series och seger i National League ytterligare två gånger, dock utan att lyckas winna World Series de gångerna.
Efter sin tid som tränare har Herzog haft olika ledaruppdrag för Angels.
Herzog var känd för att satsa på en kombination av bra pitching i kombination med utespelare som spelar bra försvar och är tålmodiga slagmän som är på bas ofta och väl där är snabba och kan stjäla baser. Hans klubbar har haft väldigt få homerun-specialister. Whiteyball, som det kallades, passade bra för både Royals och Cardinals som spelade på relativt stora arenor där det var långt att slå homeruns. Det var i allmänhet "billigare" att värva spelare som inte var typiska homerun-slagmän. Eftersom alla andra klubbar helst satsade på den senare spelartypen blev de relativt dyra.
