Patterson studerade juridik och inledde 1841 sin karriär som advokat i Greeneville. Han arbetade sedan som domare1854-1863. Han gifte sig 13 december1855 med guvernörAndrew Johnsons dotter Martha (1828-1901). Paret fick två barn. Sonen Andrew Johnson Patterson (1857-1932) fick sitt namn efter morfadern. Pattersons svärfar Andrew Johnson blev senare senator, vicepresident och USA:s 17:e president.
Under Pattersons tid som senator ställdes hans svärfar president Johnson inför riksrätt. En röst saknades i senaten för att presidenten hade kunnat avsättas. Patterson ansåg sin svärfar icke skyldig. Han lämnade politiken samtidigt som Johnson lämnade Vita huset. Under Johnsons tid som president hjälpte Pattersons hustru Martha sin mor Eliza McCardle Johnson i utförandet av plikterna som första dam.
Pattersons grav finns på Andrew Johnson National Cemetery utanför Greeneville.
