James Harper Graham wurde während des Britisch-Amerikanischen Krieges in Bovina im Delaware County geboren. Er besuchte öffentliche Schulen. Dann war er Supervisor in der Town von Delhi. Er hatte den Vorsitz im Board of Supervisors von Delaware County. Dann ging er landwirtschaftlichen Tätigkeiten nach. Politisch gehörte er der Republikanischen Partei an.
Er saß 1871 in der New York State Assembly und in den Jahren 1872 und 1873 im Senat von New York. Darüber hinaus ging er landwirtschaftlichen und kaufmännischen Geschäften nach. Am 23. Juni 1881 starb er in Delhi und wurde auf dem Woodland Cemetery beigesetzt.