Il épouse Clara Meigs en 1801 ou 1802, et est élu au Congrès à multiples reprises, comme représentant (1813-1818 et 1823-1827) et comme sénateur (1818-1819 et 1829-1834). Il est également ambassadeur des États-Unis en Espagne de 1819 à 1823 et gouverneur de Géorgie entre 1827 et 1829.
Fervent partisan du président Andrew Jackson, notamment dans le conflit l'opposant à John Caldwell Calhoun concernant le pouvoir fédéral face à celui des États, il est récompensé en étant nommé secrétaire d'État en 1834, à la suite de la démission de Louis McLane. Partisan de l'esclavage et esclavagiste lui-même, il est à ce poste notamment chargé de gérer le cas de La Amistad devant la Cour suprême.
