Melchior debuterade som baryton i Köpenhamn med Silvio i Pajazzo. Efter ett antal års anställning som ensemblemedlem vid Det Kongelige Teater där han framförallt sjöng stöttande roller lade han om sin röst till hjältetenor. I detta fack debuterade han vid denna scen som Tannhäuser den 8 oktober1918. Hans specialitet blev dessa Wagnerroller som förutom Tannhäuser även inkluderade Lohengrin, Siegmund och Siegfried i Nibelungens ring, titelrollen i Parsifal och Tristan i Tristan och Isolde.
Melchior debuterade vid Royal Opera House i London 1924 i Valkyrian, där han blev en stadigvarande gäst fram till 1939. Vid Bayreuth sjöng han samtliga säsonger mellan 1924 och 1931. Under en period var han även anställd vid statsoperan i Hamburg, men det var vid Metropolitan i New York majoriteten av hans framträdanden ägde rum. Mellan åren 1926 och 1950 när han hade huset som artistisk bas medverkade han i 519 föreställningar. Andra hus Melchior ofta återkom till var Teatro Colón i Buenos Aires samt operahusen i San Francisco och Chicago.
1946 blev Melchior amerikansk medborgare. Han försökte sig sedan på en andra karriär som skådespelare, då han medverkade i fem Hollywoodfilmer och uppträdde i mer lättsamma sammanhang i amerikansk radio.