John Gaines wurde in Wrecoe, einer heute nicht mehr existierenden Ortschaft in der Nähe von Nashville, geboren. Er besuchte sowohl öffentliche als auch private Schulen. Später unterrichtete er selbst für einige Zeit als Lehrer. In der Folge erlernte er in einem Heimstudium die Rechtswissenschaften. Außerdem studierte er Medizin. Die entsprechenden Abschlüsse machte er an der University of Nashville und der Vanderbilt University. Gaines hat nie als Mediziner gearbeitet. Nach seiner im Jahr 1884 erfolgten Zulassung als Rechtsanwalt begann er ab 1885 in Nashville in seinem neuen Beruf zu praktizieren.
1908 wurde Gaines von seiner Partei nicht mehr zur Wiederwahl nominiert. In den folgenden Jahren praktizierte er wieder als Anwalt in Nashville, wo er am 4. Juli 1926 starb.