Carmine Rosato dans Le Parrain Partie II (1974) et Albert Volpe dans Le Parrain Partie III (1990) sont ses rôles de film les plus remarquables . Il est l’un des trois acteurs à jouer deux rôles différents dans les films du Parrain (les autres étant Frank Sivero qui a joué le jeune Genco Abbandando dans Godfather Part II et un spectateur de la bagarre entre Sonny Corleone et Carlo Rizzi dans Le Parrain, et Sofia Coppola qui a joué Mary Corleone dans Le Parrain Partie III et le fils en bas âge de Carlo et Connie baptisé dans les dernières scènes de The Godfather ainsi qu'un enfant sur le bateau au début de Godfather Part II).
Selon le directeur du studio Robert Evans dans ses mémoires de 1994 intitulé The Kid Stays in the Picture, Carmine Caridi était le premier choix du réalisateur Francis Ford Coppola pour le rôle de Sonny Corleone, mais Evans insistait sur James Caan car Caridi était trop grand pour jouer face à Al Pacino. Il est apparu dans le film classique culte Kiss rencontre le fantôme du parc(1978), jouant le rôle du directeur du parc d'attractions Calvin Richards, et est apparu sous le nom de Sam Giancana dans le film Ruby de 1992.
À la télévision, il est Dan Valenti dans la série télévisée Phyllis de 1976 à 1977. En 1978, il apparaît en tant que Di Carlo dans l'épisode Les amis intimes de Janet Wilde de la série dramatique policière de NBC The Eddie Capra Mysteries. Entre 1982 et 1983, Carmine Caridi a joué Angelo Martelli, le père de Bruno Martelli, dans la série télévisée Fame. Il a ensuite joué le rôle du détective Vince Gotelli dans la série télévisée NYPD Blue de 1993-1999.