Rodio se na farmi u mjestu New Site u državi Alabama; kao tinejdžer je u potrazi za poslom otišao u Teksas, a kao mladić se za vrijeme Prvog svjetskog rata godine 1917. priključio američkoj Vojsci. Godine 1918. je u borbama u Francuskoj gdje je teško ranjen. Iz vojske je izašao sa činom poručnika, te se sljedećih godina posvetio studijima, prije nego što je 1927. godine diplomirao pravo. Godine 1933. se naselio u Phenix Cityju gdje je otvorio advokatsku kancelariju.
Politikom se počeo baviti 1937. godine, kada je izabran u Obrazovni odbor Okruga Russell. Tri godine kasnije je postao članom Okružnog odbora za regrutaciju, a godine 1946. je izabran u Državni senat Alabame. Početkom 1950-ih je postao dio Udruženja za poboljšanje Russella (RBA), grupe političara koja je počelo javno izražavati nezadovoljstvo zbog toga što su lokalne vlasti u gradu bile otvoreno povezane sa gangsterima. Godine 1952. mu je kancelarija napadnuta zapaljivom bombomn. Svjestan da ne može biti izabran kao predstavnik okruga i grada, godine 1954. se kandidirao za Vrhovnog advokata Alabame. U maju je u prvom krugu preliminarnih izbora za demokratsku nominaciju osvojio relativnu većinu, a 10. juna je, usprkos pokušaja opstrukcije i namještanja glasova u Phenix Cityju, proglašen pobjednikom, odnosno formalnim kandidatom stranke, a što je, s obzirom da je Alabama tada bila de factojednopartijska država, predstavljalo siguran izbor za mjesto Vrhovnog advokata.
Prije tih izbora i formalne inauguracije su, međutim, trebali proći mjeseci. 18. juna je, kada se navečer vraćao iz kancelarije, ubijen hicima iz pištolja od strane nepoznatog počinitelja. Ubistvo tako istaknutog političara je zgrozilo američku javnost, ali i guvernera Gordona Personsa koji je reagirao proglašenjem ratnog stanja u Phenix Cityju, slanjem Nacionalne garde koja je preuzela policijske dužnosti te započinjanjem istrage od strane specijalnog tima tužilaca. Njeni rezultati su doveli do 734 optužnica protiv lokalnih i državnih funkcionara, a trojica su optužena za Pattersonovo ubistvo - zamjenik glavnog šerifa Albert Fuller, okružni tužilac Arch Ferrell i vrhovni advokat Si Garrett. Od njih je jedino Fuller proglašen krivim i osuđen na doživotni zatvor.
Događaji vezani uz Pattersonovo ubistvo su sljedeće godine prikazani u biografskom filmu The Phenix City Story, gdje je Pattersonov lik tumačio John McIntire.
