Si vous disposez d'ouvrages ou d'articles de référence ou si vous connaissez des sites web de qualité traitant du thème abordé ici, merci de compléter l'article en donnant les références utiles à sa vérifiabilité et en les liant à la section « Notes et références ».
Entre les années 1960 et 1970, il a été chef de section puis secrétaire du Comité central du Parti du travail de Corée, directeur de l'École centrale du parti et président de l'Académie des Sciences morales. Enfin, il a été ministre de l'enseignement supérieur au début des années 1980.
Il a été vice-président du comité permanent de l'Assemblée populaire suprême de 1962 à 1983, mais en 1983, à la suite d'un différend entre Hwang Jang-yop, le président du comité permanent, et Kim Jong-il, Hwang a été démis de ses fonctions et Yang Hyong-sop, en sa qualité de vice-président, est devenu le président du comité permanent, fonction qu'il occupera jusqu'en 1998.
En 1994, à la mort de Kim Il-sung, le poste de président de la République a immédiatement été supprimé et Yang est devenu de facto le chef de l'État.
En 1998, une nouvelle constitution est promulguée : le comité permanent est remplacé par un Présidium et la fonction de président du comité permanent est divisée en deux. Il y aura le président du Présidium de l'assemblée et le président de l'assemblée.
Kim Yong-nam est élu président du Présidium et Choe Thae-bok est élu président de l'assemblée. Il est cependant nommé vice-président du Présidium par Kim Yong-nam.
Le , lors d'un rassemblement de masses à Pyongyang, il a prononcé un discours faisant l'éloge du gouvernement nord-coréen pour la construction d'armes nucléaires.
Il est remplacé de son poste de vice-président du Présidium par Thae Hyong-chol le .