À la suite du coup d'État communiste de 1978, Ahmadzai est retourné en Afghanistan pour rejoindre les moudjahidines. Il était un proche collaborateur de Burhanuddin Rabbani, étant député de son parti Jamiat-e Islami, mais a ensuite quitté et rejoint le parti de l'Organisation islamique Dawah d'Afghanistan d' Abdul Rasul Sayyaf en 1992, l'année de la fin du régime communiste. Il a servi comme ministre dans le gouvernement afghan post-communiste, diversement comme ministre de l'Intérieur, de la Construction et de l'Éducation, et est devenu plus tard Premier ministre entre 1995 et 1996, bien qu'il ait minimisé l'importance de ces postes étant donné le chaos dû aux combats à ce moment-là[2].
Ahmadzai a quitté l'Afghanistan en 1996 après que le gouvernement eut fui l'avancée des talibans. Il a vécu en exil à Istanbul et à Londres, avant de retourner en Afghanistan en 2001 après la chute des talibans[2] Il était un candidat indépendant à l' élection présidentielle afghane de 2004 soutenant un système de gouvernement islamique[2]. Il a obtenu 0,8 % du total des votes comptés[3].
