Yamani termine l'école primaire à Akka et Safad, puis rejoint la Faculté Arabe pour Instituteurs à Jérusalem. Jusqu'à la Nakba en 1948, il travaille comme fonctionnaire responsable des infrastructures à Akka et à Haifa. Il rejoint les syndicats arabes palestiniens sous le protectorat britannique, et en devient une figure militante.
En 1951, il rencontre Georges Habache et avec Wadi’ Haddad et Ahmad Khatib, il rejoint le mouvement de résistance Al-Qaumiyun, qui deviendra en 1967 le FPLP. Il y acquiert sa réputation d'homme politique probe et intègre.
Membre du comité central du FPLP, favorable à une réforme de l'OLP, il s'oppose à Yasser Arafat.
En 1991, il se retire de toutes ses fonctions au sein du FPLP pour « laisser la place aux jeunes générations »[2].
À sa mort, le FPLP salue sa mémoire en tant que « Grand Leader » du mouvement de résistance palestinien[3].
