Insieme a ʿAbd al-Karīm Qāsim,[2] il generale al-Rubāʿī - che era entrato nell'Accademia Militare di Baghdad trent'anni prima della sua promozione a generale del 1957 - fu uno dei leader che portarono a segno il colpo di Stato che, il 14 luglio 1958, rovesciò la monarchia hascemita del giovane re Faysal II d'Iraq.
Mentre Qāsim (conosciuto in Occidente come Kassem) divenne Primo Ministro, gestendo sostanzialmente il potere, al-Rubāʿī fu eletto Capo della giovane Repubblica Irachena, col titolo d'ispirazione nasseriana, di Consiglio del Comando della Rivoluzione. Il Consiglio del Comando della Rivoluzione intendeva rappresentare le tre maggiori comunità etnico-religiose del Paese e al-Rubāʿī rappresentava in esso la comunità sunnita.
Nel 1963, quando Qāsim fu trucidato dal colpo di Stato guidato dal suo amico ed alleato Abd al-Salam Arif, al-Rubāʿī si ritirò dalla vita politica.