Rudić blev 1981 tränare för det jugoslaviska herrjuniorlandslaget och ledde sedan herrlandslaget till enorma framgångar under perioden 1984–1991, med två OS-guld som de allra främsta meriterna. Sedan tränade han det italienska herrlandslaget till segrar i OS (1992), VM (1994), EM (1993 och 1995) och FINA Men's Water Polo World Cup (1993). I Atlanta tog Italien ännu OS-brons men i Sydney bröts den olympiska medaljkedjan och Rudić bytte landslag till USA. Där hade han en långsiktig plan med OS i Peking som främsta målsättning. Den främsta segern med de amerikanska vattenpoloherrarna som Rudić åstadkom var vinst i vattenpoloturneringen vid Panamerikanska spelen 2003. Redan tre år före Peking fick han ett samtal från Kroatiens president och sade sedan upp kontraktet med USA. Kroaterna tog VM-guld 2007 med Rudić som tränare, samma år som han valdes in i The International Swimming Hall of Fame.[2] Kroatien tränade han till OS-guld 2012 och tackade 2013 ja till ett erbjudande att träna Brasilien.[3]
