John Patterson wuchs in Pennsylvania auf und besuchte dort die öffentlichen Schulen sowie später das Jefferson College in Canonsburg. In den 1850er-Jahren betätigte er sich im Zeitungs- und im Bankgewerbe. Unter anderem war er 1852 Herausgeber des Juniata Sentinel; im folgenden Jahr wurde er Redakteur und Mitbesitzer des Harrisburg Telegraph. Sein erstes politisches Mandat übernahm er 1854 als Abgeordneter im Repräsentantenhaus von Pennsylvania, dem er bis 1856 angehörte.
Nach Ausbruch des Bürgerkrieges trat Patterson der Unionsarmee bei. Er diente im Rang eines Captain im 15. Freiwilligenregiment der Infanterie aus Pennsylvania. Während seiner Zeit beim Militär bewarb er sich 1862 auch um einen Sitz im Repräsentantenhaus der Vereinigten Staaten, doch er verlor die Wahl. Nach Kriegsende zog er nach Columbia in South Carolina, wo er im Eisenbahnbau tätig war.
Er nahm auch seine politischen Aktivitäten wieder auf und wurde 1873 von der South Carolina Legislature in den US-Senat gewählt, wo er vom 4. März 1873 bis zum 3. März 1879 verblieb. Wie viele Bürger aus den Nordstaaten, die nach dem Krieg im Süden lebten und dort öffentliche Ämter bekleideten, wurde er in South Carolina vielfach als Carpetbagger angesehen. Im Senat war er Vorsitzender des Bildungsausschusses und Mitglied im Ausschuss für die Territorien. Als seine Amtszeit endete, war auch die Reconstruction in den Südstaaten abgeschlossen; die Demokraten übernahmen in der Politik daraufhin wieder ihre alte Führungsrolle. Patterson hatte daher keine Chance auf eine eventuelle Wiederwahl durch das Staatsparlament.
Nach dem Ende seiner Senatslaufbahn betrieb er hauptsächlich Finanzgeschäfte. 1886 kehrte er nach Pennsylvania zurück, wo er seine letzten Lebensjahre in Mifflintown verbrachte.
