Yu ble medlem av Det kinesiske kommunistiske parti i november 1936. Etter Lushan-konferansen i 1959 ble han sammen med Hua Guofeng valgt til sekretær for Partiets Hunan-komités sekretariat. Han ble senere med i provinspartiets stående komité og leder for dets kommisjon for industri, transport og handel. Han fikk snart enda viktigere verv i Guangzhou og som guvernør av Shaanxi.
I 1983 ble han utnevnt til Kinas første riksrevisor i det nydannede riksrevisorembedet.