Dopo aver ottenuto un diploma al Gustavus Adolphus College di Saint Peter, Minnesota nel 1989, si iscrive all'Università di Chicago dove interrompe gli studi tre anni dopo, a pochi esami dalla laurea.
Esordisce come jazz vocalist con l'album Close Your Eyes (1995, etichetta Blue Note) e si fa notare per la sua voce baritonale, per le quattro ottave di estensione, per una sillabazione fluida e per un assoluto controllo della tecnica scat. Tra il 1997 e il 2003 pubblica, sempre per la Blue Note, altri sei album, due dei quali dal vivo.
Il suo successo esordisce per tutta l'America
Nel 2007 lascia la Blue Note e pubblica Nightmoves, primo album con la Concord Records in cui, al fianco di vecchi amici come Bob Mintzer, Christian McBride e John Pizzarelli, compaiono anche nuovi collaboratori (Rob Mounsey alle tastiere, Guilherme Monteiro alla chitarra e Grégoire Maret all'armonica). L'album è stato candidato al Grammy come miglior album di jazz vocale nel 2008.
Vincitore per tre anni di seguito dei sondaggi delle riviste Down Beat e JazzTimes come miglior voce maschile, si è ormai imposto come personalità preminente nel panorama contemporaneo del jazz vocale. Elling è anche vice presidente della National Academy of Recording Arts and Sciences, l'organizzazione che assegna annualmente i Grammy Awards e che conta circa 17 000 iscritti.
Attualmente, Elling canta con una band composta da Laurence Hobgood (pianoforte), Robert Amster (basso) e Kobie Watkins (batteria). Quando non è in tour, lo si può ascoltare tutti i mercoledì sera al Green Mill Cocktail Lounge di Chicago. L'ultimo lavoro pubblicato da Elling si intitola 1619 Broadway.