Nach seiner Geburt zog seine Familie nach Surry County, North Carolina (heute Forsyth County). Dort ging er zur Schule, studierte dann Jura und erhielt schließlich seine Zulassung als Anwalt. Anschließend praktizierte er als Jurist im heutigen Rockingham County und war von 1792 bis 1803 Mitglied des Senats von North Carolina.
1796 wurde Williams in den 5. US-Kongress gewählt sowie in die zwei nachfolgenden wiedergewählt. Dort diente er vom 4. März 1797 bis zum 3. März 1803. Dann wurde er 1803 von US-PräsidentThomas Jefferson in die Kommission berufen, die den Landansprüchen der Bürger westlich des Pearl River im Mississippi-Territorium nachgehen sollte. Er blieb bis 1807 in diesem Amt.
Williams wurde zum Gouverneur des Mississippi-Territoriums ernannt und diente in dieser Funktion vom 10. Mai 1805 bis zum 3. März 1809. Danach lebte er in Mississippi und North Carolina, wo er als Anwalt praktizierte und der Landwirtschaft nachging. Außerdem war er als Adjutant General von North Carolina tätig. Anschließend zog er nach Ouachita, wo er 1836 starb. Er wurde auf seiner Plantage nahe Monroe beigesetzt.
Familie
Williams’ Bruder Lewis fungierte auch als Kongressabgeordneter für North Carolina. Ein anderer Bruder, John, war US-Senator für Tennessee.