Arlen a New York állambeli Buffalóban született egy zsidó kántor gyermekeként. Az ikertestvére már másnap meghalt. Hét éves korától a zsinagógában énekelt − ahol édesapja is énekes volt. Kilenc éves korától zongoraleckéket kapott Simon Bucharofftól és Arnold Cornelissentől.
Zenekart alapított. Zongoraristaként és énekesként ért el helyi sikereket, mielőtt húszas évei elején New Yorkba költözött, ahol zongorakísérőként dolgozott egy vaudeville-ben. Ekkor változtatta a nevét Harold Arlenre. 1926-34 között Arlen időnként énekeseként szerepelt a The Buffalodians, Red Nichols, Joe Venuti, Leo Reisman, Eddie Duchin lemezein. Általában saját szerzeményeit énekelte.
Még tinédzserként otthagyta az iskolát, hogy zenekarban játsszon. Huszonnégyéves koráig főleg előadóként és hangszerelőként kereste kenyerét. Éjszakai klubokban és gőzhajókon énekelt. Néhány évvel később megalakította a The Snappy Triót (később: The Southbound Shufflers), amelyben énekes, zongorista és hangszerelő is volt. Aztán másik két zenésszel Manhattanbe költözött. Itt csatlakozott 1928-ban Arnold Johnson revüzenekarához.
Olyan híres partnerekkel dolgozott, mint Yip Harburg, Truman Capote, Ira Gershwin és Johnny Mercer. Dalainak jellegzetes hangzását a The New York Times zenekritikusa, John S. Wilson dzsessz-alapúnak, a bluesban gyökerezőnek minősítette. 1980-as számítás szerint 35 kompozíciója vált dzsessz-sztenderddé.
Rengeteg zenét írt musicalekhez, különösen a Broadway-n előadottakhoz, és rendszeresen zenés filmekhez is, például az Óz, a csodák csodájához (1939).
Dallamai tele vannak harmonikus és ritmikus meglepetésekkel, amelyek jellegzetesek és összetéveszthetetlenül az övéi.