Fou un dels fundadors del moviment dels mujahidins a finals dels anys 1970, just abans de la invasió soviètica. Fou el cap polític del front unit Aliança del Nord contra els talibans, i va encapçalar un govern opositor que obtingué el reconeixement internacional, fins i tot per part de l'ONU. Després encapçalà l'oposició unida contra el govern del President Karzai). El 20 de setembre del 2011, Rabbani fou assassinat en un atemptat suïcida davant de casa seva a Kabul. Fou designat pel Parlament i el President Karzai "Màrtir de la Pau".[2] El seu fill Salahuddin Rabbani fou elegit el 2012 per assolir la pau amb els talibans.[3]