John Nelson besuchte die öffentlichen Schulen seiner Heimat und studierte danach bis 1892 an der University of Wisconsin–Madison. Zwischen 1892 und 1894 war er Leiter der Schulbehörde im Dane County; von 1894 bis 1897 arbeitete er als Buchhalter im Büro des Secretary of State von Wisconsin. In den Jahren 1897 und 1898 gab er die in Madison erscheinende Zeitung „The State“ heraus. Danach war er von 1898 bis 1902 Berichterstatter im Finanzministerium seines Staates. Im Jahr 1896 absolvierte Nelson ein Jurastudium an der University of Madison.
Politisch war Nelson Mitglied der Republikanischen Partei. Nach dem Tod des Kongressabgeordneten Henry Cullen Adams wurde er bei der fälligen Nachwahl für den zweiten Sitz von Wisconsin als dessen Nachfolger in das US-Repräsentantenhaus in Washington, D.C. gewählt, wo er am 4. September 1906 sein neues Mandat antrat. Nach sechs Wiederwahlen konnte er zunächst bis zum 3. März 1919 im Kongress verbleiben. Seit 1913 vertrat er dort als Nachfolger von Arthur W. Kopp den dritten Distrikt seines Staates. In diese Zeit fielen der Erste Weltkrieg sowie die Verabschiedung des 16., des 17. und des 18. Verfassungszusatzes. Für die Wahlen des Jahres 1918 wurde Nelson von seiner Partei nicht zur Wiederwahl nominiert. Am 4. März 1919 trat James G. Monahan seine Nachfolge im Kongress an.
Bei den Kongresswahlen des Jahres 1920 konnte John Nelson sein Mandat im dritten Bezirk von Monahan zurückgewinnen. Nach fünf Wiederwahlen verbrachte er zwischen dem 4. März 1921 und dem 3. März 1933 sechs weitere Legislaturperioden im US-Repräsentantenhaus. Von 1923 bis 1925 war er Vorsitzender eines Wahlausschusses (Committee on Elections No. 2); zwischen 1929 und 1931 leitete er den Ausschuss, der sich mit Invalidenrenten befasste. Kurz vor Ablauf von Nelsons letzter Amtszeit wurde im Kongress der 20. Verfassungszusatz verabschiedet. Im Jahr 1932 wurde er nicht mehr für eine weitere Amtszeit nominiert.
Nach seinem endgültigen Ausscheiden aus dem US-Repräsentantenhaus zog sich John Nelson aus dem öffentlichen Leben in den Ruhestand zurück. Er starb am 29. Januar 1955 in Madison und wurde dort auch beigesetzt.
