Rudder blev født i Eden, Texas, søn af Dee Forest og Annie (Powell) Rudder. Han gik på John Tarleton Agricultural College i 1928-1929. Han fortsatte på Texas A&M i 1930 og tog eksamen i 1932 med en grad i industriel uddannelse. Efter eksamen blev han udnævnt til sekondløjtnant i den amerikanske hærs reserver. I 1933 fungerede Rudder som football træner og lærer på Brady High School. Han giftede sig med Margaret E. Williamson (født 1916, død 4. marts 2004) den 12. juni1937. De fik fem børn: James Earl "Bud" Rudder, Jr., Jane Rudder Roach (død 1984), Robert Dee Rudder, Anne Rudder Erdman og Linda Rudder Williams. I 1938 arbejdede han som fodboldtræner og lærer på Tarleton Agricultural College. I 1941 blev han indkaldt til aktiv tjeneste i hæren.
Militær karriere
Rudder tog del i landgangen på D-dag som chef for den amerikanske 2. Ranger bataljon. Hans tropper blev landsat i den vestlige ende af Omaha Beach i stedet for kysten ved Pointe du Hoc. De amerikanske tropper var under kraftig beskydning og havde tab. Rudder sprængte pigtråden i den vestlige ende af stranden og anførte sine rangers og de resterende kampdygtige tropper op af skrænten under intens beskydning. De omgik de tyske positioner og fik kontrol over Omaha Beach. Bataljonens tabsrate var på over 50 %. Rudder selv blev såret to gange i løbet af kampen. På trods af det gravede de sig ned og afslog tyske modangreb i to dage indtil de blev afløst. Han og hans mænd hjalp med til at etablere et brohoved for de allierede styrker.
Rudder var borgmester i Brady, Texas fra 1946 til 1952 og var vicepræsident for Brady Aviation Company i 1953. Den 1. januar1955 overtog han posten som kommitteret i landspørgsmål i Texas, efter at posten blev opgivet af James Bascom Giles. På daværende tidspunkt var Veterans Land programmet underkastet en undersøgelse for dårlig ledelse og korruption. Rudder påtog sig opgaven med at reformere politikkerne, sætte fart i sagsgangen og nøje overvåge regnskabsprocedurerne. Han førte også tilsyn med, at udlejning af statens landområder blev udlejet korrekt ved at ansætte flere feltinspektører til olie- og gasfelterne og tilføjede en stab, som gennemførte seismiske undersøgelser. Desuden forbedrede han arbejdsbetingelserne for sine ansatte og iværksatte et program, der skulle redde de mange ejendomsdokumenter fra at gå til grunde.
På baggrund af hans mange reformer blev Rudder valgt som kommitteret i landspørgsmål i 1956 og fungerede indtil 1. februar1958. Det år blev han vicepræsident for Texas A&M University. Rudder blev præsident for universitetet i 1959 og hele A&M Systemet fra 1965 til sin død i 1970. I 1967 tildelte præsident Lyndon B. Johnson ham Distinguished Service Medal, den højeste udmærkelse for indsats i fredstid. Siden hans død i 1970 er der blevet afholdt en årlig gudstjeneste i Normandiet til hans minde.
Mens han var præsident for Texas A&M, fik Rudder æren for at have forandret universitetet fra at være et lille college til at være et velkendt universitet. Mere specifikt gjorde han medlemskab af kadetkorpset frivilligt og gav kvinder adgang. Der er mange minder om Rudder på universitetet, herunder Rudder Tower ved siden af Memorial Student Center og en statue. Hertil kommer en særlig træningsenhed indenfor kadetkorpset, der bærer navnet "Rudder's RangersArkiveret 14. juni 2006 hos Wayback Machine", som er opkaldt efter ham. Kadetter i korpset forventes at kunne fremsige et udsnit af inskriptionen på Rudder tower,der lyder:
Til minde om James Earl Rudder, 1910-1970, årgang 1932, heroisk soldat, kommitteret ved Landkontoret i Texas, 16. præsident for Texas A&M University … tredje præsident for Texas A&M University System.
Earl Rudder var arkitekten bag den drøm, der skabte dette center. I dette som i alle hans gerninger demonstrerede han en usædvanlig evne til at inspirere mænd og lede dem til exceptionelle præstationer.
Til minde om
Earl Rudder Freeway – den del af Highway 6 som fører gennem Bryan og College Station, Texas.
Earl Rudder Middle School – en mellemskole i San Antonio, Texas; hjemmebane for Rudder Rangers
James Earl Rudder High School – den anden high school, som blev åbnet i august 2008, i Bryan Independent School District i Bryan, Texas.
James E. Rudder State Office Building – den texanske statssekretærs kontorbygning på 1019 Brazos St., Austin, Texas 78701
J. Earl Rudder Tower & Conference Center – 12 etagers bygning på universitetsområdet på Texas A&M University i College Station, Texas.