Kálmán studerede musik i Budapest sammen med Béla Bartók og Zoltán Kodály. Grundet en sygdom i højre hånd kunne han ikke blive pianist, som han egentlig ville. I stedet blev han musikanmelder og komponerede sange, klaverstykker og symfonier. Allerede i 1917 modtog han sin første anerkendelse – Franz-Joseph-prisen. Efter hans første operette blev en succes, flyttede han til Wien. Kálmán, der var jøde, måtte forlade Østrig i 1938. Først emigrerede han til Paris, men i 1940 emigrerede til USA, hvor han virkede som dirigent og komponist af amerikansk underholdningsmusik. Han blev udnævnt til æresdoktor ved New York City College of Music. Han vendte tilbage til Europa i 1945 og boede med undtagelse af en afstikker til Wien 1949-1951 i Paris resten af sit liv.