James McMillan kam in der heutigen kanadischen Provinz Ontario zur Welt; seine Eltern stammten aus Schottland. Er ging in Hamilton zur Schule, ehe er 1855 nach Detroit in Michigan übersiedelte, um dort eine Laufbahn als Geschäftsmann einzuschlagen. Dort arbeitete er zunächst als Büroangestellter für einen Eisenwarengroßhandel. Als er 20 Jahre alt war, erhielt er eine Anstellung als Einkäufer bei der Detroit & Milwaukee Railway. 1863 wirkte er gemeinsam mit John Stoughton Newberry, einem späteren Kongressabgeordneten aus Michigan, am Aufbau der Michigan Car Company mit. Schließlich wurde er Präsident der von ihm ins Leben gerufenen Duluth, South Shore and Atlantic Railway; außerdem war er an zahlreichen anderen Geschäften, vornehmlich in der Schifffahrt, beteiligt. In Detroit fungierte er zudem drei Jahre lang als Präsident des Board of Park Commissioners sowie als Mitglied des örtlichen obersten Verwaltungsgremiums (Board of Estimates).
1889 erfolgte dann die Wahl in den US-Senat, in dem McMillan nach mehrfacher Wiederwahl bis zu seinem Tod am 10. August 1902 verblieb. Während dieser Zeit war er unter anderem Vorsitzender des Committee on Manufactures sowie des Committee on the District of Columbia. Außerdem stand er der als McMillan Commission bekannt gewordenen Senate Park Improvement Commission vor, die die Schaffung der National Mall verantwortete.
