Han begynte sin karriere under Guominjun. Han ble først sendt til Xinjiang for å arbeide for guvernør Jin Shuren i 1930. Han nedkjempet kumul-opprøret (februar 1931 – oktober 1931) med støtte fra Sovjetunionen, men som motytelse inngikk han så mange avtaler med russerne at de i praksis hadde kontrollen i Xinjiang.
Etter Josef Stalins ønske ble Sheng medlem av det sovjetiske kommunistparti i august 1938. Han mottok partikort nr. 1859118 direkte fra Molotov under et hemmelig besøk i Moskva. Xinjiang under Shengs styre var dermed bare i navnet del av Kina, for enhver vektig avgjørelse måtte klareres med det sovjetiske konsulat Tihwa (迪化］, idag: Ürümqi). Under sine år som guvernør underkuet han uighurene og kasakhene, og var kjent for sin utstrakte bruk av tortur.
I 1942 fikk han på følelsen at Sovjetunionen ville bryte sammen, og endret da sin holdning. Han ble anti-sovjetisk, utviste sovjetiske rådgivere og henrettet en rekke hankinesiske kommunister som blant annet Mao Zemin, Mao Zedongs bror, i håp om å vinne støtte fra Kuomintang (KMT) for sitt fortsatte styre. Men Sheng undervurderte KMTs mistillit til ham. KMT fjernet ham fra makten i august 1944, delvis for å holde seg inne med Sovjetunionen og få slutt på grensesammenstøtene som fant sted på grensen mellom Xinjiang og Ytre Mongolia i det omstridte og mineralrike fjellområdet Baitik Bogdo.
Han forlot Xinjiang 11. september1944 for å slutte seg til Kuomintangs regjering som minister for jordbruk og skogbruk. Hans eiendeler, mye av det plyndret gods, trengte han 50 lastebiler for å få med seg – blant annet 1 500 kg gull og 15 000 kg sølv.
