Après la chute de la république démocratique d'Afghanistan de Mohammad Najibullah en , Hekmatyar fut écarté du pouvoir auquel il estimait avoir droit. Toujours soutenu par l'ISI, il participa à la bataille contre le commandant Ahmed Massoud pour le contrôle de Kaboul. Alors qu'il était Premier ministre, il n'a pas hésité à faire bombarder la ville à l'arme lourde par ses troupes, équipées par l'ISI, détruisant un tiers de la capitale et faisant des dizaines de milliers de victimes. Il y gagnera le surnom de « boucher de Kaboul »[3],[4]. Il est également accusé d'avoir commandité des meurtres de journalistes, d'intellectuels et de féministes[5],[4]. Pris entre les talibans et les troupes de l'Alliance du Nord de Massoud, il s'enfuit et finit par se rallier implicitement aux talibans.
Hekmatyar aurait déclaré à la télévision pakistanaise en 2003 avoir aidé Oussama ben Laden et Ayman al-Zawahiri à s'enfuir des montagnes de Tora Bora lors d'une offensive des troupes américaines[6].
Fin 2004, alors qu'il se trouve au Pakistan, Hekmatyar appelle au djihad contre les États-Unis[4]. Entré dans l'opposition au président Hamid Karzai, il a déclaré dans un enregistrement vidéo, diffusé le par la chaîne Al Jazeera, vouloir désormais combattre sous le commandement d'Ayman al-Zawahiri, le numéro deux d'Al-Qaïda. Il est désormais, officiellement déclaré « terroriste » par les États-Unis.
Il a revendiqué la responsabilité de l'embuscade de Surobi du dans laquelle sont morts dix soldats français et entre 13 et 40 insurgés talibans[7].
Le , après deux ans de négociations, l'Afghanistan signe un accord de paix avec Gulbuddin Hekmatyar, lui assurant une immunité et un possible retour en politique[4]. Cette décision est considérée par le président Ashraf Ghani comme une avancée, alors que les pourparlers avec les talibans piétinent[8],[4]. Le , l'ONU lève ses sanctions prises en 2003 contre lui[9],[10]. Le , Gulbuddin Hekmatyar fait son entrée dans Kaboul à la tête d'un convoi lourdement armé et appelle les talibans à déposer les armes[5].
