Entre 1876 et 1880, il est procureur du comté de Butler. Entre 1884 et 1889, il représente le 7e, puis le 3e et enfin de nouveau le 7e district de l'Ohio à la Chambre des représentants.
James Campbell est ensuite élu gouverneur de l'état, fonction qu'il occupe deux ans, entre 1890 et 1892, avant de devoir céder son siège à William McKinley. Durant son mandat, il signe un projet de loi visant à mettre en place le vote à bulletin secret en Ohio[4]. Il participe activement à la lutte contre la corruption du gouvernement de Cincinnati. Cette prise de position lui coûte le soutien d'une partie des démocrates de l'État, et l'empêche d'être réélu[5]. En 1895 il se présente de nouveau à l'élection mais échoue.
Entre 1895 et 1896, il est administrateur de l'université d'État de l'Ohio[6]. Toujours politiquement actif, il est délégué aux conventions nationales démocrates de 1892, 1920, et 1924. Campbell est candidat aux élections du Congrès de 1906, et aux élections sénatoriales de 1908[7]. En 1913, il est administrateur de l'Ohio Historical Society, et en est élu à l'unanimité président du conseil d'administration le . Il le restera jusqu'à sa mort[8].
(en) C B Galbreath, « James Edwin Campbell, in memoriam », Ohio Archaeological and Historical Publications, vol. 34, , p. 2–28 (lire en ligne)
(en) William Oxley Thompson, « Tribute to James Edwin Campbell », Ohio Archaeological and Historical Publications, vol. 32, , p. 468–471 (lire en ligne)
(en) William Alexander Taylor, Centennial history of Columbus and Franklin County, Ohio, vol. 2, Chicago, S J Clarke Publishing Company, (présentation en ligne)