Il quitta Williamsburg pour étudier le droit avec Thomas Jefferson à Monticello et fut admis au barreau de Richmond en 1814. Il exerça d'abord sa profession dans le comté de Nelson mais, après avoir épousé, en 1819, Judith Page Walker (1802-1882), il s'installa dans la propriété qu'elle avait héritée, Castle Hill près de Cobham dans le comté d'Albemarle, à environ 12 miles à l'est de Charlottesville. C'est là qu'il devait résider jusqu'à la fin de sa vie.
Il commença sa carrière politique en participant à la convention constitutionnelle de l'État de Virginie en 1816. Il fut ensuite appelé à la Chambre des représentants de Virginie en 1817-1819, où il représenta le comté de Nelson, et de nouveau en 1822 comme représentant du comté d'Albermarle. Plus tard en 1822, il fut élu à la Chambre des représentants des États-Unis où il siégea de 1823 à 1829.
À son retour de France, il fut élu au Sénat des États-Unis où il effectua trois mandats, le dernier comme membre du parti whig. De 1849 à 1853, il redevint ministre des États-Unis en France.
En février 1861, il fut délégué à la conférence de la paix à Washington. Il s'opposa à la sécession mais resta fidèle à la Virginie lorsqu'elle décida de faire sécession, et fut l'un de ses représentants au Congrès des États confédérés d'Amérique en 1861-1862, durant la Guerre de Sécession.
Rives mourut à Castle Hill en 1868 et fut enterré dans la sépulture de famille. Il est l'auteur de plusieurs livres, dont le plus important est La vie et l'époque de James Madison (Life and Times of James Madison, 3 vols., Boston, 1859-1868). Il siégea au Board of Visitors de l'Université de Virginie de 1834 à 1849, et présida pendant de nombreuses années la Société historique de Virginie (Virginia Historical Society).
Son fils, Alfred Landon Rives (né à Paris le et mort à Albemarle le ) fut un ingénieur distingué, dont la fille Amelie Louise Rives (née à Richmond le et morte en 1945) s'illustra comme romancière, son livre le plus connu étant The Quick or the Dead ? (1888). Elle épousa John Armstrong (Archie) Chanler le , et, après leur divorce, se remaria le avec le prince Pierre Troubetzkoy.
