Patterson war der zweitälteste Sohn von insgesamt sechs Kindern des Versicherungsvertreters Green Davis Patterson und dessen Ehefrau Mary Isabell „Mollie“ Newton.[1][3]
Sein Urgroßvater James Pearson war Siedler in St. Clair County, Alabama, ebenso wie der Urgroßvater seiner Mutter, Thomas Newton. Zwischen 1894 und 1897 zog die Familie nach Taylor in Texas, wo Patterson den größten Teil seiner Kindheit verbrachte und die Schule bis zur achten Klasse besuchte.[1][3]
Am 18. Mai 1915 heiratete er seine deutschstämmige Frau Daisy Marguerite Sheeler, mit der er bis zu seinem Tod verheiratet war. 1917 meldete er sich in Lubbock County für den Dienst beim Militär während des Ersten Weltkriegs.[1][3]
Sein Hauptinteresse galt immer der Musik und Patterson hatte vor, sich als ernsthafter Pianist zu etablieren; er war aber gezwungen, als Varieté-Pianist auf Wandershows zu arbeiten und kam so mit der Schauspielerei in Berührung. Ende der 1920er Jahre zogen er und seine Frau schließlich nach Kalifornien.[1][2]
Trotz fehlender formaler Schauspielausbildung gelangte Patterson Ende der 1930er Jahre zum Film. Seine erste Rolle auf der Leinwand war 1939 ein Auftritt – ohne Namensnennung – in dem WesternThe Arizona Kid mit Roy Rogers in der Hauptrolle; zu diesem Zeitpunkt war er bereits über 50 Jahre alt. In den nächsten neun Jahren wurde er fast ausschließlich im Western-Genre besetzt, wo er als Charakterdarsteller Hufschmiede, Hotelangestellte, Bauern, Ladenbesitzer und anderen ländliche Stadtbewohner spielte.[1][2]
So war er in I Ring Doorbells der Producers Releasing Corporation (PRC) zu sehen, aber auch in Thomas Carrs The El Paso Kid, in dem Sunset Carson eine der Hauptrollen spielte. Zu den bekannteren Filmen gehörten Edwin L. MarinsAbilene Town und Henry KingsDer Scharfschütze. Bei der Mehrzahl der Westernfilme handelte es sich aber um Low-Budget-Produktionen von Republic Pictures. Eine Ausnahme bildet Jack Arnolds Film Tarantula, in dem Patterson gegen seine festgelegte Charakterrolle besetzt wurde sowie weitere kleine Auftritte in Horror- und Science-Fiction-Filmen.[1][2]
Auch im Fernsehen war die Darstellung von „Menschen vom Land“ seine Domäne, oft handelte es sich daher um Rollen in Westernserien. So war er zwischen 1962 und 1973 in der Rolle des Hank Miller – Stallbursche in Dodge City – in 33 Folgen von Rauchende Colts zu sehen und übernahm im Jahr 1963 die Rolle des lakonischen Farmers Fred Ziffel mit seinem Hausschwein „Arnold Ziffel“, das er wie einen Sohn behandelte, in der SitcomPetticoat Junction. 1965 wurde seine Rolle auf den Serienableger Green Acres ausgeweitet, wo er Fred Ziffel für insgesamt fünf Staffeln bis 1971 spielte – inklusive weiterer Gastauftritte in The Beverly Hillbillies. Seine Interaktion mit dem Schwein erreichte Kultstatus.[1][2] Zu diesem Zeitpunkt war Patterson bereits fast vollständig ertaubt, aber die Produzenten hielten aufgrund seiner Beliebtheit an ihm fest: der Dialogtrainer der Serie signalisierte ihm hinter der Kamera, wann er seinen Text sprechen sollte.[1][2]
Neben Arthur Hunnicutt war Patterson einer der wenigen Charakterdarsteller, die in den 1950er und 1960er Jahren für die Darstellung alter, mürrischer Kauze auf dem Land regelmäßig besetzt wurden; die tiefe sonore Stimme unterstützte ihn dabei.[2] Seine letzten Auftritte vor der Kamera hatte er 1972 in einer Folge der Fernsehserie Wo die Liebe hinfällt (Love, American Style) und 1973 in einer Folge von Rauchende Colts.[1]