Ide menetti neljän osakilpailun jälkeen kisakuljettajan paikkansa ranskalaiselleFranck Montagnylle heikkojen ja toisinaan jopa vaarallisten ajosuoritustensa takia, joista FIA oli joutunut huomauttamaan tallia. FIA vei häneltä myös superlisenssin sen jälkeen, kun hän kolaroi Imolan osakilpailussa Christijan Albersin kanssa.[3] Näiden tapahtumien myötä Ideä on pidetty F1-historian huonoimpana sarjassa ajaneena kuljettajana.[4] Heikkojen ajosuoritusten ja vähäisen ajokokemuksen lisäksi Idellä oli vaikeuksia puutteellisen kielitaidon kanssa, kun hän ei pystynyt kommunikoimaan tallin henkilökunnalle ymmärrettävästi englannin kielellä.[2]
Heinäkuun alussa 2006 Yūji Iden ilmoitettiin siirtyvän ajamaan loppukaudeksi Japanin Formula Nippon -sarjaan, jossa hän sijoittui kaudella 2005 toiseksi. Iden aikomuksena oli ajaa Nippon-sarjassa DoCoMo Team Dandelion Racing -tallissa kuusi kisaa.[5] Ide jatkoi Formula Nippon -sarjassa vuosina 2007–2008 huonolla menestyksellä. Tämän lisäksi Ide ajoi Super GT sarjassa vuosina 2008-2010.[6]
Kauden 2010 jälkeen Ide piti taukoa kilpa-autoilusta kaksi vuotta kunnes palasi Japanin Super GT sarjaan. Hän ajoi yhden kilpailun pienemmässä GT300 luokassa Bonds Racingin NISMO GT-R GT3:lla.[6] 2014 oli jälleen välivuosi ja 2015 hän ajoi kuusi kilpailua Team Up Garage with Bandoh -tiimin Toyotalla vailla mainittavaa menestystä.[6] Ide jatkoi Super GT -sarjassa vuoteen 2022 asti.[6]