John Gardner besuchte die öffentlichen Schulen seiner Heimat. Während des Bürgerkrieges diente er von 1861 bis 1865 in einer Freiwilligeneinheit aus New Jersey, die zum Heer der Union gehörte. In den Jahren 1866 und 1867 studierte Gardner an der University of Michigan in Ann Arbor Jura. Danach arbeitete er jedoch nicht als Jurist, sondern im Immobiliengeschäft und in der Versicherungsbranche. Gleichzeitig begann er als Mitglied der Republikanischen Partei eine politische Laufbahn. Im Jahr 1867 war er Stadtrat in Atlantic City; zwischen 1868 und 1875 fungierte er mehrfach als Bürgermeister dieser Stadt. Danach war er wieder im Stadtrat. Gardner war zeitweise auch amtlicher Leichenbeschauer („Coroner“) in Atlantic City. Von 1878 bis 1893 gehörte er dem Senat von New Jersey an, dessen Präsident er im Jahr 1883 als Nachfolger von Garret Hobart war. 1884 war er Delegierter zur Republican National Convention in Chicago, auf der James G. Blaine als Präsidentschaftskandidat nominiert wurde.
Nach dem Ende seiner Zeit im US-Repräsentantenhaus betätigte John Gardner sich wieder in der Landwirtschaft. Er starb am 7. Februar 1921 in Indian Mills.