En 1976, il est détenu pendant onze mois pour avoir poursuivi les buts du Congrès national africain. Il est ultérieurement condamné à 10 ans d'emprisonnement sur l'île de Robben Island. Peu après sa libération, il est élu Secrétaire général de l'Union nationale des mineurs de fond. En 1997, lorsque Cyril Ramaphosa prend sa retraite de la politique, Motlanthe est élu secrétaire général de l'ANC.
Ministre, membre du Parlement
Motlanthe est élu vice-président de l'ANC lors de la 52e conférence nationale du parti, à Polokwane, en , au détriment du candidat choisi par le camp de Mbeki, Nkosazana Dlamini-Zuma. La nouvelle chefferie de l'ANC, dominé par des soutiens à Jacob Zuma, fait pression sur le président Thabo Mbeki pour faire nommer Motlanthe au sein du gouvernement. Ce dernier est élu membre du Parlement en mai 2008, et en juillet, il est nommé au gouvernement par Mbeki en tant que ministre sans portefeuille. Ce qui est considéré comme une transition douce vers un futur gouvernement Zuma.
Le 23 septembre, Nathi Mthethwa, membre de l'ANC, indique que la démission de Thabo Mbeki prend effet à compter du 25 septembre. Le président de l'ANC, Jacob Zuma, déclare que son vice-président, Kgalema Motlanthe, prendrait les rênes du pouvoir présidentiel jusqu'aux prochaines élections générales de 2009 : « Je suis convaincu que, dans cette situation de responsabilités, Motlanthe assurera convenablement l'intérim. » L'ANC confirme que Motlanthe s'apprête à prendre la présidence « avec pleins pouvoirs » jusqu'aux élections de 2009[2].
Président de la République
Le , Motlanthe est élu président de la République à une large majorité des parlementaires, par 269 voix pour, 50 contre et 41 bulletins nuls. Il nomme alors Baleka Mbete, la présidente de l'Assemblée nationale, au poste de vice-présidente de la République et forme un gouvernement comprenant Trevor Manuel, démissionnaire du gouvernement précédent par solidarité avec Thabo Mbeki.
Kgalema Motlanthe défie sans succès Jacob Zuma en se présentant contre lui à la présidence de l'ANC en . Les commentateurs présentent cette candidature comme un « suicide politique »[3],[4]. Il perd alors son poste de vice-président du parti.