James Joseph Heffernan wurde im November 1888 in der damals noch eigenständigen Stadt Brooklyn geboren und wuchs dort auf. In dieser Zeit besuchte er öffentliche und Privatschulen. Dann graduierte er 1906 am Bryant Stratton College und 1908 am Pratt Institute. Danach war er 1908 als Architekt tätig. Zwischen 1926 und 1933 war er Commissioner of Highways in Brooklyn. Er nahm 1938 als Delegierter an der verfassunggebenden Versammlung von New York teil. Politisch gehörte er der Demokratischen Partei an.
Bei den Kongresswahlen des Jahres 1940 wurde er im fünften Wahlbezirk von New York in das US-Repräsentantenhaus in Washington, D.C. gewählt, wo er am 4. Januar 1941 die Nachfolge von Marcellus H. Evans antrat. Nach einer erfolgreichen Wiederwahl kandidierte er im elften Wahlbezirk von New York für einen Kongresssitz. Heffernan trat dann am 4. Januar 1945 die Nachfolge von Ellsworth B. Buck an. Er wurde drei Mal in Folge wiedergewählt. Da er auf eine erneute Kandidatur im Jahr 1952 verzichtete, schied er nach dem 3. Januar 1953 aus dem Kongress aus.
Danach war er als Architekt tätig. Er starb am 27. Januar 1967 in Long Branch und wurde auf dem Holy Cross Cemetery in Brooklyn beigesetzt.
