Nielsen var søn af tømrermesteren Niels Nielsen (1883–1962) og hustruen Ella Kirstine f. Rasmussen (1892–1979).
Han var student fra Marselisborg Gymnasium i 1933 og cand.mag. fra Aarhus Universitet i 1942, hvorefter han beklædte forskellige undervisningsstillinger ved det samme universitet, indtil han blev professor i Nordiske Sprog ved Odense Universitet i 1966. Han vendte dog i 1972 tilbage til sit gamle universitet.
50 danske runeindskrifter. Århus: Nordisk Institut, Aarhus Universitet 1981.
Syntaksen i Holbergs epistler. Århus: Nordisk Institut, Aarhus Universitet 1983.
Danske runeindskrifter: et udvalg med kommentarer. København: Hernov 1983.
Norske indslag i nydansk. Bind 1: Dansk over for norsk sprog ca. 1700–1950. Bind 2: Liste over låneord fra norsk ca. 1700–1950. Århus: Nordisk Institut, Aarhus Universitet 1983–84.
Fra runesprog til nudansk: studier og kommenterede tekster. Århus: Nordisk Institut, Aarhus Universitet 1984.
(sammen med Hallfrid Christiansen) Norsk-dansk ordbog. Gyldendal 1971.
(sammen med Sven Brüel) Gyldendals fremmedordbog. København: Gyldendal, 9. udgave 1983.