Po zakończeniu piłkarskiej kariery w 1997 roku trafił do sztabu szkoleniowego Athletic Bilbao, gdzie przez sześć lat zajmował się trenowaniem młodzieży. Po rozgrywkach 2002–2003 niespodziewanie zastąpił NiemcaJuppa Heynckesa na stanowisku trenera pierwszego zespołu. Prowadził Athletic przez dwa sezony, w pierwszym zajął wysokie piąte miejsce, gwarantujące grę w Pucharze UEFA, a w kolejnym – ósme. W 2005 został zmieniony przez José Luisa Mendilibara.
Niedługo potem znalazł zatrudnienie w Olympiakosie Pireus. Drużynę, w której wówczas występowali m.in. Andonios Nikopolidis, Wasilis Torosidis i Michał Żewłakow, poprowadził do zwycięstwa w lidze oraz rozgrywkach o Puchar Grecji. Po zakończeniu sezonu nie zdołał porozumieć się ze swoimi pracodawcami w sprawie nowej umowy.
2 czerwca 2009 doszedł do porozumienia z władzami hiszpańskiegoVillarrealu, skąd kilka dni wcześniej do Realu Madryt odszedł Manuel Pellegrini. W 2010 ponownie został trenerem Olympiakosu, a następnie Valencii. Po sezonie 2016/17 odszedł z Athleticu Bilbao do FC Barcelony. 13 stycznia 2020 został zwolniony z funkcji trenera Barcelony.