Patterson wurde in Greeneville geboren, wo er auch aufwuchs und die Schule besuchte. Anschließend las er Jura am Greenville College, um später als Rechtsanwalt zugelassen zu werden. 1841 wurde er schließlich zugelassen und war fortan in seiner eigenen Kanzlei in seiner Geburtsstadt tätig. Außerdem leitete er einen Industriebetrieb. Von 1854 bis 1863 war er Richter am First Circuit Court, einem Gericht des Bundesstaates Tennessee. Gleichzeitig war er als Industrieller tätig und brachte es zu beträchtlichem Wohlstand.
Nach dem Sezessionskrieg wurde Tennessee am 24. Juli 1866 als erster der Konföderierten Staaten wieder in die Union aufgenommen. Am gleichen Tag wurde Patterson von der Tennessee General Assembly in den US-Senat gewählt. Am 28. Juli trat er sein Mandat in Washington, D.C. an. 1868 wurde gegen seinen Schwiegervater, den US-Präsidenten, ein Impeachment eingeleitet. Während des Verfahrens nahm Patterson die meiste Zeit nicht an den Sitzungen des Senats teil, da er eine Vermischung von Privatem und Politischem vermeiden wollte. Er selbst hielt seinen Schwiegervater für unschuldig. Am 4. März 1869 lief seine Amtszeit als Senator ab, er kandidierte nicht zur Wiederwahl. Somit schied er an diesem Tag aus dem Kongress aus, sein Schwiegervater schied am selben Tag aus dem Amt des Präsidenten aus.
Patterson zog sich nach Tennessee zurück und war nunmehr als Großgrundbesitzer und Farmer tätig. Er starb am 3. November 1891 in seiner Geburtsstadt und wurde auf dem Andrew Johnson National Cemetery beigesetzt, ebenso wie die gesamte Familie seiner Frau.
