Va néixer a la ciutat de Nova York, fill d'immigrants italians, Angela Consumano i Antonio Gazzara, obrer i fuster.[3] Gazzara va créixer en el Lower East Side de Manhattan, on va participar en un curs de teatre al Madison Square.[4] Més tard, va estudiar a la Stuyvesant High School de Nova York.[5] Anys més tard, va comentar que descobrir el seu amor per l'actuació el va salvar d'una vida criminal durant la seva època com a adolescent.[6] Malgrat el seu evident talent, Gazzara va ser al City College de New York per cursar la carrera d'enginyeria elèctrica, encara que després de dos anys ho deixaria per entrar a estudiar a la Nova Escola (del director alemany Erwin Piscator) i a l'Actor's Studio.
A la dècada dels 50, treballaria en produccions teatrals de Broadway, una de les més destacables, l'obra de Tennessee WilliamsLa gata sobre la teulada de zinc, dirigida per Elia Kazan. Malgrat això, va perdre la possibilitat de debutar en el cinema amb aquest paper, ja que cauria en mans de Paul Newman. El seu primer paper en el cinema arribaria amb la pel·lícula de 1957, The Strange One. Va protagonitzar també en TV la sèrie Ànima d'Acer, en què feia el paper d'un home amb una malaltia terminal que recorre el món tractant de gaudir els seus últims mesos de vida i passant alhora per diferents vivències i episodis.
Però, el paper pel qual Gazzara saltaria a la fama seria el del tinent Frederick Manion en l'obra d'Otto Preminger Anatomia d'un assassinat. A aquesta, seguirien Viure és el que importa (1961), A Rage to Live (1965), El pont de Remagen (1969), Capone (1975), El viatge dels maleïts (1976), Qui va matar a J. F. Kennedy? (1977) o High Velocity (1977).
De tota manera, les seves intervencions més notables són les que estaven relacionades amb el seu amic i director John Cassavetes en la dècada dels 70. Gazzara col·laboraria per primera vegada amb aquest director en el film de Cassavetes Husbands (1970), en què apareixia al costat de Peter Falk i el mateix Cassavetes. La col·laboració s'allargaria a L'assassinat d'un corredor d'apostes xinès, en la qual Gazzara tindria el paper principal com el propietari d'un local de striptease, Cosmo Vitelli. I un any després, Gazzara protagonitzaria per tercera vegada a les ordres de Casavettes Nit d'estrena, en la qual compartiria protagonisme al costat de l'esposa del director, Gena Rowlands.
A la dècada dels 80, Gazzara va destacar en pel·lícules com Saint Jack i They All Laughed de Peter Bogdanovich i en el controvertit telefilm An Early Frost (1985), en què torna a compartir treball amb Rowlands.
En els 90, Gazzara apareix en 38 pel·lícules i en altres produccions televisives, entre les quals destaquen El gran Lebowski (1998) dels germans Coen i El secret de Thomas Crown de John McTiernan i en la sèrie televisiva La llei i l'ordre.
Una de les seves últimes grans aparicions ha estat la de cec en el projecte de Lars von Trier, Dogville.
El seu últim paper, el va tenir el 2011, interpretant l'oncle Giovanni en el film La casa de Gino, una comèdia francesa de Samuel Benchetrit.