Judson Harmon est né le à Newton dans le comté d'Hamilton en Ohio. Il sort diplômé de l'université Denison en 1866 avant d'obtenir en 1869 un autre diplôme, en droit, de l'université de Cincinnati. Il est donc admis au barreau et exerce le droit, avant d'être élu en 1876 juge à la Cour des plaids-communs de l'Ohio (le tribunal de première instance de l'État). Il a cependant été déchu de son poste seulement quatre mois après sa prise de fonction par une décision du Sénat de l'Ohio. Deux ans plus tard, en 1878, Judson Harmon est élu à la cour supérieure de Cincinnati, réélu en 1883, il démissionne du tribunal en 1887 afin de retourner pratiquer le droit dans le privé.