Musa avlade 1957juristexamen i Kairo och inledde sedan en lång diplomatkarriär; han var bland annat ambassadör i Indien1983–1986. År 1991 efterträdde han Ahmad Asmat Abd al Meguid som utrikesminister då Meguid tillträdde som Arabförbundets generalsekreterare. Efter tio år som utrikesminister efterträdde Musa sedan Meguid i Arabförbundet. Efter tio år som generalsekreterare efterträddes Musa av ytterligare en egyptier, Nabil al-Arabi.
I den israelisk-palestinska konflikten har Musa betonat att Israel måste avstå från att bygga bosättningar i Östra Jerusalem.[1] Musa har omnämnts som en möjlig framtida president i efterdyningarna av egyptiska revolutionen 2011.[2]