Under sin tid som ambassadør i Washington D.C. bidro Yang til å dempe spenningen mellom USA og Kina etter kollisjonen i 2001 mellom et amerikansk EP-3 spionfly og et kinesisk jagerfly nær øya Hainan i Sørkinahavet.
I april 2007 overtok Yang etter Li Zhaoxing, som hadde tjent som utenriksminister siden 2003. Han ble Folkerepublikkens tiende utenriksminister, og innehadde dette embedet til mars 2013.
Han ble så statsråd under statsminister Li Keqiang, og er en av landets mest innflytelsesrike utenrikspolitikere.