John Murphy besuchte die öffentlichen Schulen seiner Heimat und danach bis 1926 die der University of Pennsylvania angegliederte Wharton School. Nach einem anschließenden Jurastudium an derselben Universität und seiner 1929 erfolgten Zulassung als Rechtsanwalt begann er in Scranton in diesem Beruf zu arbeiten. Zwischen 1934 und 1941 war er stellvertretender Staatsanwalt im Lackawanna County. Politisch wurde er Mitglied der Demokratischen Partei.
John Murphys Rücktritt erfolgte nach seiner Ernennung zum Richter am Bundesbezirksgericht für den mittleren Teil des Staates Pennsylvania. Seit 1955 war er dort Vorsitzender Richter. Dieses Amt bekleidete er bis zu seinem Tod am 28. März 1962. Mit seiner Ehefrau Ella Heffron hatte er vier Kinder.