Nielsen växte upp i Northwest Territories, där hans far arbetade inom Kanadas ridande polis. Före filmdebuten 1956 försörjde han sig som hallåman i radio och som discjockey. Han medverkade i ett stort antal filmer och TV-produktioner, ofta i biroller, innan han vann större popularitet med komedier, som Titta vi flyger och rollen som Frank Drebin i TV-serienPolice Squad! samt senare i Den nakna pistolen-filmerna. Han medverkade på senare år i flera av Scary Movie-filmerna. Hans bror Erik Nielsen (1924–2008) var Kanadas vice premiärminister 1984–1986[1].