James Joseph Murphy wurde ungefähr zwei Monate nach dem Ende des Spanisch-Amerikanischen Krieges in der damals noch eigenständigen Stadt Brooklyn geboren. Er besuchte öffentliche Schulen auf Staten Island. 1916 diente er als Unteroffizier in der First New York Cavalry an der mexikanischen Grenze. Während des Ersten Weltkrieges war er zwischen 1918 und 1920 Sergeant im 104. Maschinengewehrbataillon der 27. Division und diente in dieser Zeit in Frankreich und Belgien. Er ging seit 1920 in New York City Import- und Exporttransportgeschäften nach.
Zwischen 1954 und 1958 war er Stadtrat (city councilman) von New York im Borough von Staten Island. Murphy war Fracht- und Transportmakler. Er lebte in Grymes Hill. Am 19. Oktober 1962 verstarb er in Staten Island. Sein Leichnam wurde auf dem St. Peter’s Cemetery beigesetzt.