La seva família era catòlica, d'origen irlandès, de Milwaukee (Wisconsin). Durant la seva joventut va anar a l'Església Gesu (escola jesuïta). O'Brien va anar a la Marquette University High School amb el també actor i company Spencer Tracy. Sembla que també va servir al costat de Jack Benny en la Great Lakes Naval Station durant la Primera Guerra Mundial.
O'Brien va aparèixer al costat de James Cagney a vuit pel·lícules, incloent Angels with Dirty Faces (1938) i l'últim film de Cagney Ragtime (1981). Va començar a treballar en el cinema (sovint en el paper de policies irlandesos o de sacerdots) en els anys trenta, començant amb el paper del periodista Hildy Johnson en la versió original de Primera plana. Va aparèixer amb gran èxit a la pel·lícula de suspens de 1946 Crac-Up, i va tenir el paper principal a The Personality Kid (1934). Se li recorda més pel seu paper de detectiu de policia davant George Raft a Some Like It Hot, de 1959, i pel paper principal d'entrenador en Knute Rockne, All American (1940), pel·lícula en la qual apareixia un jove Ronald Reagan, interpretant el jugador George Gipp. La carrera cinematogràfica d'O'Brien pràcticament va finalitzar a començaments dels anys cinquanta, quan aparentment va ser inclòs parcialment en la llista negra, encara que va poder continuar treballant en televisió; en la seva autobiografia The Wind At My Back, O'Brien explicava haver quedat totalment perplex davant de la situació. El seu bon amic Spencer Tracy va haver de lluitar amb els estudis perquè li donessin un petit paper a L'última hurra el 1958.