Dopo aver giocato a football al college in numerose posizioni nella linea offensiva, Upshaw fu impiegato stabilmente dagli Oakland Raiders come guardia offensiva sinistra nella American Football League e nella National Football League per 15 anni. In quel lasso di tempo, Gene disputò tre Super Bowl: nel 1967, 1976 e 1980, facendone il primo giocatore ad aver disputato la grande partita in tre diversi decenni (Jerry Rice e Bill Romanowski compirono la stessa impresa nel 2003). Egli disputò anche tre finali del campionato AFL, sette finali della AFC, un All-Star game della AFL e 6 Pro Bowl. The Sporting News lo inserì nella formazione ideale del 1969 della AFL.
Upshaw nel 1976 fece parte di una linea offensiva particolarmente ostica per gli avversari, coi compagni Dave Dalbycome centro e George Buehler come guardia destra. Nella finale della AFC di quell'anno, i Raiders batterono i Pittsburgh Steelers, correndo 157 yard e passando 88 yard. Nella gara successiva i Raiders superarono i Minnesota Vikings nel Super Bowl XI, correndo ben 266 yard e passandone altre 180 con Upshaw overwhelmed che dominò il defensive tackle opposto a lui, il leggendario Alan Page, un altro futuro Hall of Famer. Nella finale della AFC del 1980, i Raiders batterono i San Diego Chargers, correndo 138 yard e passandone 261. I Raiders sconfissero poi i Philadelphia Eagles nek Super Bowl XV, correndo 117 yard e passandone altre 261, con Upshaw, Dalby e la guardia destra Mickey Marvin che superarono nettamente gli avversari degli Eagles Charlie Johnson, Bill Bergey e Frank LeMaster[1].
Upshaw è l'unico giocatore della storia del football professionistico ad aver disputato tre Super Bowl con la stessa squadra in tre differenti decati. Nel 1999 è stato classificato al numero 62 tra i migliori giocatori di tutti i tempi da Sporting News[2] mentre nella classifica stilata da NFL Newwork nel 2009 è inserito al 56º posto.
Dopo essersi ritirato nel 1981, Upshaw rimase per molti anni direttore esecutivo dell'Associazione Giocatori della NFL (NFLPA).