1878 wurde er zum Richter des Obergerichts von Ohio (Superior Court) gewählt und blieb dies bis 1887. Danach war er wiederum als Rechtsanwalt tätig. Neben seinem Amt als Gouverneur war er auch Professor an der Cincinnati Law School.
Politische Laufbahn
Justizminister unter Präsident Cleveland
1876 kandidierte Harmon erfolglos für den Senat von Ohio.
Am 8. Juni 1895 wurde er von Präsident Cleveland zum United States Attorney General ernannt, nachdem der bisherige Justizminister Richard Olney zum Außenminister berufen worden war. Als Justizminister gehörte er dem Kabinett bis zum Ende von Clevelands zweiter Amtszeit am 4. März 1897 an. Während dieser Zeit setzte er das Antitrust-Gesetz um, insbesondere in Form der Anklage im Verfahren United States v. Trans-Missouri Freight Association. Im wasserrechtlichen Verfahren United States v. Texas 1896 vertrat er eine Theorie der absoluten territorialen Souveränität, die später als Harmon-Doktrin bekannt wurde. Gemäß dieser Doktrin haben Nationen die ausschließliche Zuständigkeit und Kontrolle über die Nutzung der Wasservorräte innerhalb ihrer Grenzen.
Gouverneur von Ohio
1908 wurde er als Kandidat der Demokratischen Partei erstmals zum Gouverneur von Ohio gewählt. Das Amt des Gouverneurs übte er von 1909 bis 1913 für zwei Amtszeiten aus. Bei seiner Wiederwahl von 1910 setzte er sich gegen den späteren US-Präsidenten Warren G. Harding durch, der für die Republikanische Partei kandidierte. 1913 zog er sich aus dem politischen Leben zurück. Harmon war der erste Politiker, der nach einer Tätigkeit als Kabinettsminister Gouverneur eines Bundesstaates wurde.
Sonderermittler und Niederlage als Präsidentschaftskandidat
1905 ernannte ihn Präsident Theodore Roosevelt zum Vorsitzenden einer Kommission zur Untersuchung der Geschäftspraktiken der Atchison, Topeka and Santa Fe Railway. Dabei stellte er fest, dass Bestechungsgelder in Höhe von einer Million Dollar an den Präsidenten der Eisenbahngesellschaft, Paul Morton, geflossen waren. Die Ergebnisse der Kommission brachten insbesondere Präsident Roosevelt in Verlegenheit, da er Morton kurz zuvor zum Marineminister ernannt hatte. Harmon schlug zwar die Klageerhebung gegen Morton und andere Direktoren der Eisenbahngesellschaft vor, jedoch kam es hierzu nach der Intervention des Präsidenten nicht. Allerdings musste Marineminister Morton am 1. Juli 1905 von seinem Amt zurücktreten.
1912 unterlag er auf der Democratic National Convention als Präsidentschaftskandidat dem späteren Präsidenten Woodrow Wilson, nachdem ihn bereits zuvor der frühere demokratische Präsidentschaftskandidat und spätere Außenminister im Kabinett Wilsons, William Jennings Bryan, wegen seiner Gegnerschaft zu nationalen Initiativen und Referenden als Reaktionär bezeichnet hatte.