Paul Muni war Sohn einer jüdischen Schauspielerfamilie, die in die Vereinigten Staaten ausgewandert war. Er wuchs in New York City und Cleveland auf und hatte bereits als Kind Auftritte gemeinsam mit seinen Eltern in jüdischen Theatern, wo er seine Schauspielausbildung erhielt. Bis 1926 trat er ausschließlich in jiddischenTheaterstücken auf.
Nach ersten Erfolgen am Broadway unterschrieb er 1928 einen Vertrag mit 20th Century Fox in Hollywood. Bereits sein erster Filmauftritt in The Valiant aus dem Jahr 1929 bescherte ihm seine erste Oscar-Nominierung für die beste Hauptrolle. Seine heute vielleicht bekannteste Darstellung bot er im Jahr 1932 im Gangsterklassiker Scarface von Howard Hawks. Im selben Jahr erhielt er große Anerkennung für seine Darstellung der Hauptrolle in dem Gefängnisfilm Jagd auf James A.
Aufgrund einer Herzschwäche konnte Muni, der als herausragender Charakterdarsteller galt, im Laufe seiner Karriere nur in 22 Filmen auftreten. Dabei brachte er es allerdings auf fünf Oscar-Nominierungen, jeweils als bester Hauptdarsteller, da er in all seinen Filmen stets die Hauptrolle spielte. Er erhielt den Preis schließlich für seine Darstellung der Titelfigur in der Filmbiografie Louis Pasteur aus dem Jahr 1935 unter der Regie von William Dieterle.
Paul Muni, der ab 1921 mit Bella Finkel verheiratet war, starb 1967 an seiner lebenslangen Herzschwäche zurückgezogen in Kalifornien. Er wurde auf dem Hollywood Forever Cemetery beigesetzt.