Originaires de la région de Turin et Aquilonia en Italie, sa mère, Maria Mesce, travaillait comme coiffeuse à temps partiel et son père, Angelo Pesci, était conducteur de chariot élévateur pour General Motors et barman.
Joe Pesci commence sa carrière d'acteur dès son plus jeune âge, en apparaissant au milieu des années 1950 dans la série télévisée Star Time Kids.
En 1990, Martin Scorsese fait de nouveau appel à lui pour Les Affranchis, une saga du crime dans lequel il incarne le gangster psychopathe Tommy DeVito, qui profite de la moindre étincelle pour déclencher un carnage. Unanimement saluée par le public et la critique, sa brillante performance est récompensée par l'Oscar du meilleur acteur dans un second rôle lors de la 63e cérémonie des Oscars[3]. Un univers auquel il est décidément habitué, puisque le réalisateur lui offre en 1995 le rôle du névrotique Nicky Santoro dans Casino, où il joue le bras droit de Robert De Niro et succombe à la vénale Ginger, interprétée par Sharon Stone[4].
Sans doute lassé des rôles de mafieux auxquels les producteurs l'ont souvent cantonné, Joe Pesci se tourne surtout dans les années 1990 vers le registre de la comédie, avec plus ou moins de succès. Gangster raté et pathétique dans Maman, j'ai raté l'avion ! et sa suite, il fait un bref détour par le thriller politique avec JFK, avant d'incarner un avocat désopilant dans la comédie Mon cousin Vinny. Mais en dépit de quelques rôles mineurs, dont une brève apparition en 1993 dans Il était une fois le Bronx, la première réalisation de son vieux complice Robert De Niro, l'acteur se fait rare. Il enregistre en 1998 un nouvel album Vincent LaGuardia Gambini Sings Just for You et annonce en 1999 qu’il se retire du cinéma.
En 2019, il fait son grand retour devant la caméra dans le film de gangsters The Irishman, qui marque ses retrouvailles avec le cinéaste Martin Scorsese et Robert De Niro[6]. Dans cette adaptation du roman I Heard You Paint Houses dans laquelle il joue le mafieux Russell Bufalino, Pesci qui est connu pour ses rôles « volatiles et explosifs », joue ici un rôle bien plus calme qu'à l'accoutumé[7]. Cette performance lui permet d'être nommé pour la troisième fois dans la catégorie du meilleur acteur dans un second rôle[7].
La même année, il enregistre un troisième et surprenant album de Jazz : Pesci... Still Singing paru le et dédié à la mémoire de Jimmy Scott et Geoff Gillette.