Li sort diplômé de l'université de Pékin en 1964 avant de suivre une formation en langues étrangères à l'université des langues étrangères de Pékin. Il enseigne brièvement les relations internationales avant de travailler comme diplomate. D'abord en poste au Kenya entre 1970 et 1977, il revient pour cinq ans au ministère (1977-1983) avant de repartir pour le poste de premier secrétaire de l'ambassade du Lesotho de 1983 à 1985. Il rentre ensuite à Pékin et devient porte-parole du ministère des Affaires étrangères jusqu'en 1990 puis assistant du ministre des Affaires étrangères. De 1993 à 1995, Li est l'ambassadeur et représentant permanent de la Chine devant l'Organisation des Nations unies à New York. Li retourne à Pékin au poste de vice-ministre des Affaires étrangères en 1995. Il part à Washington pour prendre la place d'ambassadeur auprès des États-Unis en 1998. Il revient en Chine en 2001 et devient ministre des Affaires étrangères le à la suite de la session plénière de la XeAssemblée nationale populaire.
Il fait partie en 2007 du groupe des Global Elders (anglais signifiant les anciens, ou sages, universels), créé par Nelson Mandela afin de promouvoir la paix et les droits de l'homme dans le monde, mais quitte l'organisation peu après.