James Longley ist ein Sohn des früheren Gouverneurs von Maine, James B. Longley (1924–1980). Er besuchte die Phillips Academy in Andover und das College of the Holy Cross in Worcester. Nach einem anschließenden Jurastudium an der University of Maine und seiner Zulassung als Rechtsanwalt begann er in seinem neuen Beruf zu praktizieren. Im Jahr 1976 diente er beim US-Marinekorps. Damals arbeitete Longley auch als Privatsekretär seines Vaters. Später leitete er neben seiner Anwaltstätigkeit verschiedene kleine Betriebe in der Umgebung von Portland.
Politisch schloss sich Longley der Republikanischen Partei an. 1994 wurde er im ersten Wahlbezirk von Maine in das US-Repräsentantenhaus in Washington, D.C. gewählt. Dort trat er am 3. Januar 1995 die Nachfolge des DemokratenThomas Andrews an. Da er zwei Jahre später Tom Allen unterlag, konnte er bis zum 3. Januar 1997 nur eine Legislaturperiode im Kongress absolvieren. In dieser Zeit setzte er sich für eine starke nationale Verteidigung ein.
Im Jahr 1998 bewarb sich James Longley erfolglos um das Amt des Gouverneurs von Maine. Bei diesen Wahlen erreichte er nur 19 % der Wählerstimmen. Der Wahlsieg ging an den Amtsinhaber Angus King.