Im Jahr 1831 zog James Harper mit seinem Vater in das Darke County in Ohio, wo er die öffentlichen Schulen besuchte. Neun Jahre später, 1840, kam er nach Lenoir in North Carolina, wo er unter anderem Landvermesser und Ingenieur war. Außerdem stellte er Baumwoll- und andere Wollstoffe her. In Lenoir bekleidete Harper verschiedene lokale Ämter. Außerdem wurde er Oberst in der Staatsmiliz.
Nach seinem Ausscheiden aus dem US-Repräsentantenhaus arbeitete Harper in der Landwirtschaft und im Straßenbau. Er starb am 8. Januar 1890 nahe Patterson.