Potter besuchte Gemeinschaftsschulen und die Phillips Exeter Academy. Er studierte Jura, wurde 1837 als Anwalt zugelassen und fing dann in East Troy, Wisconsin zu praktizieren an. Dann war er von 1842 bis 1846 Richter in Walworth County, Wisconsin. Er vertrat zwischen 1852 und 1856 Wisconsin bei der Whig National Convention. Ferner war er 1856 Mitglied der Wisconsin State Assembly sowie 1860 und 1864 jeweils Delegierter zur Republican National Convention.
Potter wurde 1856 als Republikaner in den 35. US-Kongress gewählt und zweimal wiedergewählt. Er verblieb dort vom 4. März 1857 bis zum 3. März 1863. Während dieser Zeit war er Vorsitzender des Committee on Revolutionary Pensions (von 1859 bis 1861) und des Committee on Public Lands (von 1861 bis 1863). In der letzteren Funktion handelte sein Komitee 1862 den Homestead Act aus.
Er kandidierte 1862 erfolglos um eine vierte Amtsperiode im US-Kongress. Nach Ende seiner dritten Amtszeit wurde er dann vom US-Präsidenten Abraham Lincoln zum US-Generalkonsul der britisch-kontrollierten Provinz Kanada ernannt, wo er von 1863 bis 1866 tätig war. Zu jener Zeit lebte er dort, wo heute die kanadische Stadt Montreal liegt. 1866 kehrte Potter nach East Troy zurück, wo er wieder seine Tätigkeit als Rechtsanwalt aufnahm und die er bis zu seinem Tod ausübte. Anschließend wurde er auf dem Oak Ridge Cemetery in East Troy beigesetzt.
