Il appartient aux Shaygiyya, une tribu riveraine du Nil, au nord de Khartoum[1].
En 1995, il devient ministre des Affaires étrangères puis en 1998, il est nommé premier vice-président du Soudan par le président Omar el-Béchir. En , il signe un accord de paix avec John Garang, chef de la rébellion au Soudan du Sud, à qui il cède son poste. À l'indépendance du nouveau pays en , il retrouve son poste de vice-président qu'il conserve jusqu'en , quand Bakri Hassan Saleh lui succède.
Le 11 avril 2019, Taha est arrêté à la suite d'un coup d'État qui renverse al-Bashir[2],[3] .
Le 27 mai 2020, le parquet soudanais annonce que Taha avait été testé positif au COVID-19 et a ensuite été placé en quarantaine[4].