Wirt wurde in Maryland als Sohn eines Schweizer Vaters und einer deutschen Mutter geboren. Er wurde privat erzogen und studierte danach Jura. 1792 wurde er in Virginia als Rechtsanwalt zugelassen.
Nach einigen Jahren als Rechtsanwalt wurde er Angestellter im Abgeordnetenhaus von Virginia. 1807 wurde er auf Bitte des damaligen Präsidenten Thomas Jefferson Anklagevertreter im Hochverratsprozess gegen Aaron Burr. 1817 berief ihn Präsident Monroe als Justizminister in sein Kabinett. Dieses Amt übte er in den nun folgenden zwölf Jahren bis 1829 aus. Das ist bis heute die längste Amtszeit eines amerikanischen Justizministers. Nach seinem Rückzug aus dem Amt zog er sich nach Baltimore zurück.
Im Juni 1830 wurde er von einer Delegation der Cherokee-Indianer gebeten, ihre Rechte vor dem Obersten US-Bundesgericht zu vertreten. Er argumentierte, dass die Cherokee-Indianer als „ausländische Nation“ nicht der Rechtshoheit des Staates Georgia unterstünden. In diesem Sinne beantragte er die Annullierung aller die Indianer betreffenden Gesetze des Staates Georgia.
Der oberste Gerichtshof erklärte sich zwar für diesen Fall für nicht zuständig, ließ aber die Möglichkeit offen, in zukünftigen Fällen zu Gunsten der Indianer zu entscheiden. Wirt wartete daher einfach ab, bis sich ein solcher Fall ergab. Dies geschah im März 1831, als Georgia ein neues Gesetz verabschiedete, das die Rechte der Indianer weiter einschränkte. Erneut vertrat Wirt die Sache vor dem obersten Gericht. Diesmal entschied der oberste Richter John Marshall persönlich und erklärte, dass die Gesetze Georgias nicht auf die Indianer angewendet werden dürften und die Bürger Georgias kein Recht hätten, das Indianergebiet zu betreten. Damit hatte Wirt einen juristischen Sieg errungen. In der Praxis sollte das Urteil aber kaum eine Rolle spielen.
1832 trat Wirt erneut in das Rampenlicht der Öffentlichkeit, indem er sich bei der Präsidentschaftswahl 1832 als Kandidat der Anti-Freimaurer-Partei (Anti-Masonic Party) für das oberste Staatsamt aufstellen ließ; zuvor war er Mitglied der Demokratisch-Republikanischen Partei gewesen. Die Wahl endete mit der Wiederwahl des populären Andrew Jackson. Wirt gelang es jedoch als erstem Kandidaten einer dritten Partei, einen Staat (Vermont) für sich zu gewinnen, womit er sieben Wahlmännerstimmen im Electoral College erhielt.
Nach dieser Niederlage zog er sich aus der Politik zurück und arbeitete bis zu seinem Tod 1834 als Rechtsanwalt.
1817 veröffentlichte er Life and Character of Patrick Henry, eine vielbeachtete Biografie von Patrick Henry.
.svg)