Joseph Hemphill besuchte zunächst vorbereitende Schulen und studierte danach bis 1791 an der University of Pennsylvania in Philadelphia. Nach einem anschließenden Jurastudium und seiner 1793 erfolgten Zulassung als Rechtsanwalt begann er in West Chester in diesem Beruf zu arbeiten. Gleichzeitig schlug er als Mitglied der Föderalistischen Partei eine politische Laufbahn ein. Zwischen 1797 und 1800 saß er als Abgeordneter im Repräsentantenhaus von Pennsylvania.
Bei den Kongresswahlen des Jahres 1800 wurde Hemphill im dritten Wahlbezirk von Pennsylvania in das US-Repräsentantenhaus in Washington, D.C. gewählt, wo er am 4. März 1801 die Nachfolge von Richard Thomas antrat. Bis zum 3. März 1803 konnte er eine Legislaturperiode im Kongress absolvieren. Im Jahr 1805 gehörte er erneut dem Repräsentantenhaus von Pennsylvania an. Damals war Hemphill auch Vorsitzender Richter am Bezirksgericht in Philadelphia.
Bei den Wahlen des Jahres 1818 wurde Hemphill im ersten Distrikt seines Staates in das US-Repräsentantenhaus gewählt, wo er am 4. März 1819 William Anderson ablöste. Nach drei Wiederwahlen konnte er bis zu seinem Rücktritt im Jahr 1826 im Kongress verbleiben. Seit 1823 vertrat er dort den zweiten Bezirk Pennsylvanias. In den 1820er Jahren schloss er sich der Bewegung um den späteren PräsidentenAndrew Jackson an und wurde Mitglied der von diesem gegründeten Demokratischen Partei. Im Jahr 1828 wurde er als deren Kandidat im zweiten Distrikt seines Staates noch einmal in den Kongress gewählt, wo er am 4. März 1829 John Sergeant ablöste und bis zum 3. März 1831 eine weitere Amtszeit absolvierte. Diese Zeit war von den Diskussionen um die Politik des seit 1829 amtierenden Präsidenten Andrew Jackson bestimmt.
In den Jahren 1831 und 1832 war Joseph Hemphill erneut Abgeordneter im Parlament von Pennsylvania. Danach ist er politisch nicht mehr in Erscheinung getreten. Er starb am 29. Mai 1842 in Philadelphia, wo er auch beigesetzt wurde.
