Acteur très reconnu pour son jeu, subtil et fin, il n'obtient toutefois le succès que tardivement. Durant sa courte carrière cinématographique, les cinq films dans lesquels il tourna ont été nommés à l'Oscar du meilleur film. Compagnon de la comédienne Meryl Streep, il reste surtout connu pour le rôle de Fredo Corleone dans la série de films Le Parrain.
Meryl Streep accepte un rôle dans Voyage au bout de l'enfer pour être aux côtés de John Cazale, qui lutte alors contre un cancer du poumon[1]. Lorsque commence le tournage du film, Cazale est déjà très atteint par la maladie. Cimino, qui ne l'ignore pas, tourne en premier les scènes le concernant. Quand les producteurs apprennent sa situation, ils souhaitent le remplacer, mais Meryl Streep menace de quitter le tournage[3]. Cazale n'est donc pas renvoyé et parvient à terminer l'ensemble des scènes qui impliquent son personnage. Il meurt avant la fin du tournage du film.
Francis Ford Coppola lui rend hommage dans Le Parrain 3 (1990) en incluant des images d'archives de son personnage.
Il n'a joué que dans très peu de films, mais qui ont tous marqué l'histoire du cinéma et ont été salués comme des chefs-d'œuvre.
