Urodził się w Reginie, w prowincji Saskatchewan jako drugi z dwóch synów Mabel Elizabeth (z domu Davies) i Ingvarda Eversena Nielsena, oficera kanadyjskiej policji federalnej RCMP[4]. Jego ojciec był pochodzenia duńskiego, a matka miała pochodzenie walijskie[5]. Miał starszego brata Erika Hersholta (ur. 24 lutego 1924, zm. 4 września 2008), który był prawnikiem i politykiem[6]. Miał także przyrodniego brata Gilberta z innego związku ojca[7].
Po raz pierwszy trafił na mały ekran i wziął udział w programie American Broadcasting CompanyThe Clock (1950), a następnie pojawił się jako Dennis w dwóch odcinkach serii CBSThe Web (1950, 1951), którego producentem był Mark Goodson. Był narratorem dokumentalnego filmu wojennego Bitwa pod Gettysburgiem (The Battle of Gettysburg, 1955), który zdobył dwie nominacje do Oscara. Zauważony przez łowców talentów w Hollywood, został obsadzony w roli Thibaulta w musicalu Michaela CurtizaKról włóczęgów (The Vagabond King, 1956) z Kathryn Grayson, kolejnej ekranizacji operetki Rudolfa FrimlaKról włóczęgów o poecie François Villonie. Film niezbyt podobał się publiczności i krytyce, ale Nielsen został zauważony i to wystarczyło by podpisał kilkuletni kontrakt z wytwórnią Metro-Goldwyn-Mayer.
Zaczął regularnie pojawiać się na dużym ekranie w rolach przystojnych, „twardych” facetów, często grał czarne charaktery, w tym jako reporter gazety Charlie Telfer w dramacie kryminalnym Okup (Ransom!, 1956), jako komandor John J. Adams w fantastycznonaukowym filmie przygodowym Zakazana planeta (Forbidden Planet, 1956), nowoczesnej wersji dramatu Williama SzekspiraBurza, jako producent teatralny Steven Hilliard romansujący ze tancerką w muzycznej komedii romantycznej Płeć przeciwna (The Opposite Sex, 1956), jako pilot Peter Brent zakochany w dziewczynie (Debbie Reynolds) z prowincji w komedii romantycznej Panna Tammy i kawaler (Tammy and the Bachelor, 1957), reporter gazety William Joel Partain w dramacie kryminalnym Gorąca letnia noc (Hot Summer Night, 1957), jako pułkownik Stephen Bedford / Johnny Bledsoe w westernie komediowym Jeden przeciw wszystkim (The Sheepman, 1958), w roli przedsiębiorcy, Granta Eversa w westernie Pojedynek w Abilene (Gunfight in Abilene, 1967).
Przełomem w jego karierze stała się znajomość z braćmi Jerrym i Davidem Zuckerami oraz Jimem Abrahamsem, czyli tercetem producencko–reżyserskim ZAZ. W zwariowanej parodii kina katastroficznego Czy leci z nami pilot? (Airplane!, 1980) został obsadzony w roli lekarza Rumacka. Rola porucznika detektywa Franka Drebina w komediowym serialu kryminalnym ABCPolice Squad! (1982)[11] przyniosła mu nominację do nagrody Emmy dla najlepszego aktora pierwszoplanowego w serialu komediowym. Postać Franka Drebina powróciła potem w cyklu filmowym Naga broń (Naked Gun).
Większość życia spędził w Stanach Zjednoczonych i był naturalizowanym Amerykaninem, ale nigdy nie zrzekł się obywatelstwa Kanady, gdzie rozpoczęła się jego kariera aktorska.
W 2002 został uhonorowany Orderem Kanady. Był czterokrotnie żonaty, miał dwie córki ze swoją drugą żoną.
Zmarł w szpitalu w Fort Lauderdale, wskutek powikłań po zapaleniu płuc[12]. Został pochowany na cmentarzu w Fort Lauderdale. Zgodnie z wolą Nielsena na jego nagrobku znajduje się inskrypcja w formie żartobliwej gry słów: ang.Let 'er rip[13]. To słowny żart odwołujący się do formuły R.I.P.: Rest In Peace (Niech spoczywa w pokoju). Ale w jego wersji znaczy to raczej, w wolnym przekładzie: – No, dawaj[14].