John O’Neill besuchte die öffentlichen Schulen seiner Heimat. Nach einem anschließenden Jurastudium und seiner im Jahr 1870 erfolgten Zulassung als Rechtsanwalt begann er in St. Louis in seinem neuen Beruf zu arbeiten. Außerdem stellte er vergoldete Schreibstifte her. Gleichzeitig schlug er als Mitglied der Demokratischen Partei eine politische Laufbahn ein. Zwischen 1872 und 1878 saß er als Abgeordneter im Repräsentantenhaus von Missouri; von 1879 bis 1881 gehörte er dem Stadtrat von St. Louis an. Bei den Kongresswahlen des Jahres 1882 wurde er im achten Wahlbezirk von Missouri in das US-Repräsentantenhaus in Washington, D.C. gewählt, wo er am 4. März 1883 die Nachfolge von Robert T. Van Horn antrat. Nach zwei Wiederwahlen konnte er bis zum 3. März 1889 drei Legislaturperioden im Kongress absolvieren. Von 1885 bis 1887 war er Vorsitzender des Committee on Labor.
Im Jahr 1888 unterlag O’Neill dem RepublikanerFrederick G. Niedringhaus. Bei den Wahlen des Jahres 1890 wurde er erneut in den Kongress gewählt, wo er am 4. März 1891 Niedringhaus wieder ablöste. Bis zum 3. März 1893 konnte er eine weitere Amtszeit im US-Repräsentantenhaus verbringen. Bei den Wahlen des Jahres 1892 verlor er im elften Distrikt seines Staates gegen Charles Frederick Joy. O’Neill legte aber gegen den Wahlausgang Widerspruch ein. Nachdem diesem stattgegeben worden war, konnte er zwischen dem 3. April 1894 und dem 3. März 1895 die laufende Legislaturperiode im Kongress beenden. Im Jahr 1894 verzichtete er auf eine weitere Kandidatur.
Nach seinem Ausscheiden aus dem US-Repräsentantenhaus praktizierte John O’Neill wieder als Anwalt. Er starb am 19. Februar 1898 in seiner Heimatstadt St. Louis.