Nilssen ble født i Sverige som sønn av en skogsarbeider. Hans far emigrerte siden til USA, mens Oscar Nilssen dro til nabolandet Norge. Han arbeidet som skogsarbeider fra 1896, men ble småbruker ved Ågård i Løten fra 1911 og mottok norsk statsborgerskap samme år. Han var formann for den lokale kooperasjonen fra 1918 til 1923, og var medlem i representantskapet for Norges Kooperative Landsforening. Fra 1917 til 1921 var han varaformann og kassere for Norsk Skog- og Jordbruksarbeiderforbund.
Han var partileder for den lokale valgkretsen i Søndre Hedemarkens i noen år, og var leder for fylkesstyret fra 1921. Han hadde sitt 30-årsjubileum i denne posisjonen i 1951[4], men trakk seg fra denne i 1954.[5] En kortere pause fra politikken kom da Norges Kommunistiske Parti ble grunnlagt i 1923, da fylkesstyret vedtok å følge kommunistene. Nilssen valgte å holde seg hos Arbeiderpartiet, og ble dermed ekskludert som fylkesleder gjennom majoriteten av styret den 13. november 1923. Han fikk for øvrig tilbake sitt verv da det nye fylkesstyret for Arbeiderpartiet ble satt opp den 1. desember samme år.[6]
Nilssen ble valgt inn på Stortinget i 1921 som representant for valgkretsen i Hedmark fylke. Han ble deretter gjenvalgt ved Stortingsvalgene i 1924, 1927, 1930, 1933 og 1936. Han var medlem av arbeidskomiteen i Løten kommunestyre fra 1916 til 1928, og var deretter ordfører for Løten i perioden 1931 til 1940. Under okkupasjonen av Norge mistet han sin posisjon som ordfører og parlamentariker. Han ble også arrestert den 10. mars 1945 og satt fengslet i Hamar fengsel frem til 21. mars, da han ble flyttet til Grini fangeleir frem til krigens slutt. Etter krigen ble han igjen valgt til ordfører og satt siden i fylkestinget.[7]
