Nach dem Besuch der öffentlichen Schulen sowie der University of Pennsylvania in Philadelphia machte Sergeant 1795 seinen Abschluss am Princeton College. Danach wurde er zum Anwalt ausgebildet und 1799 in die Anwaltskammer aufgenommen, woraufhin er diesen Beruf in den folgenden 50 Jahren ausübte. Im Jahr 1800 wurde er stellvertretender Attorney General von Philadelphia; danach stand er als Konkursverwalter (Commissioner of bankruptcy) in Staatsdiensten.
In der Folge war Sergeant Präsident des Pennsylvania Board of Canal Commissioners sowie Gesandter zum Panama-Kongress unter der Leitung von Simón Bolívar im Sommer 1826, ehe er ab dem 4. März 1827 für weitere zwei Jahre dem Kongress angehörte. Nach verfehlter Wiederwahl arbeitete er als Anwalt für die Bank of the United States.
1832 ernannte ihn Henry Clay schließlich zu seinem Running mate bei der Wahl zum US-Präsidenten. Sie konnten jedoch nur in sechs Bundesstaaten die Mehrheit erringen und unterlagen somit sehr deutlich dem demokratischen Amtsinhaber Andrew Jackson sowie dessen Vizepräsidentschaftskandidat Martin Van Buren. Sergeant zog sich danach zunächst aus der Politik zurück, trat dann aber 1836 erneut bei der Wahl zum Repräsentantenhaus an und wurde diesmal als Whig in den Kongress gewählt. Dort verblieb er vom 4. März 1837 bis zu seinem Rücktritt am 15. September 1841, wobei er wieder Vorsitzender des Justizausschusses war. Während dieser Zeit amtierte er zudem im Jahr 1838 als Präsident des Verfassungskonvents von Pennsylvania.
John Sergeant konzentrierte sich danach wieder auf seine Tätigkeit als Jurist. Während der Zeit, in der die Whigs den US-Präsidenten stellten, bekam er Ämter in der Regierung oder im diplomatischen Dienst angeboten, schlug diese aber aus. Er verstarb 1852 in seiner Heimatstadt Philadelphia.
