Muhammad flyttade till Detroit 1923 där han runt 1930 blev biträdande predikant till Wallace Fard Muhammad vid rörelsens Temple No. 1. När Fard Muhammad försvann (och troligen dog) 1934 efterträdde Elijah Muhammad honom som ledare för rörelsen. Motsättningar inom templet i Detroit gjorde att han flyttade till Chicago där han etablerade Temple No. 2.
Medlemskåren byggdes långsamt upp under årtiondena efter kriget. Muhammad eftersträvade att bygga upp en separat nation för afroamerikaner genom att sprida en religion byggd på att tillbe Allah och på tron att svarta är hans utvalda folk. Muhammad blev känd för sin hätska retorik mot vita människor, som han kallade "blåögda djävlar".[6] Under senare delen av sitt liv modererade han dock sitt sätt att uttrycka sig och lade tonvikten på att förespråka självhjälp mellan afroamerikaner snarare än konfrontation mellan personer av olika hudfärg.
Hans främsta lärling, Malcolm X, bröt med Nation of Islam på grund av Muhammads separatistiska åsikter.[6] Efter Muhammads död bröt sig en annan grupp ur, under ledning av Louis Farrakhan, och tog även den namnet Nation of Islam.
