Im Jahr 1867 zog James Phelan mit seinem gleichnamigen Vater James Phelan (1821–1873), einem ehemaligen Abgeordneten im Kongress der Konföderierten Staaten, nach Memphis in Tennessee, wo er private Schulen besuchte. Anschließend absolvierte er bis 1871 das Kentucky Military Institute. In den folgenden Jahren studierte er bis 1878 an der Universität Leipzig in DeutschlandPhilosophie. Anschließend kehrte er nach Memphis zurück, wo er eine Tageszeitung herausgab. Nach einem Jurastudium und seiner im Jahr 1881 erfolgten Zulassung als Rechtsanwalt begann er dort in seinem neuen Beruf zu arbeiten.
Politisch war Phelan Mitglied der Demokratischen Partei. Bei den Kongresswahlen des Jahres 1886 wurde er im zehnten Wahlbezirk von Tennessee in das US-Repräsentantenhaus in Washington, D.C. gewählt, wo er am 4. März 1887 die Nachfolge von Zachary Taylor antrat. Nach einer Wiederwahl konnte er bis zu seinem Tod am 30. Januar 1891 im Kongress verbleiben. Phelan veröffentlichte unter anderem eine Abhandlung über die Geschichte des Staates Tennessee mit dem Titel „History of Tennessee, the Making of a State“. Er war mit Mary Early verheiratet, mit der er drei Kinder hatte.
