Pesci, um italo-americano, nasceu em Newark, New Jersey, filho de Maria, que trabalhava como cabeleireira, e Angelo Pesci, um motorista de empilhadeiras da General Motors. Aos 5 anos, foi fazer algumas peças teatrais em Nova York. Em 1953, com dez anos, começou a apresentar-se e a ser uma regular aparência num programa infantil de televisão, chamado Startime Kids, que também contou com Connie Francis. Nos anos 60, começou a trabalhar como barbeiro, seguindo os passos de sua mãe.
Pesci praticou judo durante toda a sua adolescência. Tocou guitarra para a banda Joey Dee e o Starliters, cujos outros membros famosos foram Charles Neville (The Neville Brothers) e Jimmy James (Jimi Hendrix). Mais tarde Pesci seguiu carreira a solo sob o nome de Joe Ritchie, e lançou um álbum em 1968 com o nome de Little Joe Can Sing. Mais tarde tocou na banda Joey Dee & the Starliters a que incluía seu bom amigo e futuro parceiro de atuação Frank Vincent. No entanto, ao contrário de seus companheiros de banda, Joe Pesci não teve muito sucesso como artista solo de música, e então ele se mudou para prosseguir a sua carreira de ator, fazendo sua estreia no cinema com a banda Starliters como figurante no filme Hey, Let's Twist!.
Carreira
Vida profissional
A descoberta como ator veio em 1980, quando co-estrelou ao lado de Robert De Niro, que interpretou o papel principal do pugilista Jake LaMotta, no filme de Martin Scorsese, Raging Bull, papel pelo qual ganhou o BAFTA em 1981 e foi indicado ao Oscar de melhor ator coadjuvante. Este foi o primeiro de uma série de colaborações aclamado pela crítica com Scorsese e De Niro.
Mais tarde, novamente com De Niro, participou de Once Upon a Time in America, e, com Scorsese, de Goodfellas, pelo qual venceu o Oscar de melhor ator coadjuvante em 1990, além de Casino. Também teve um pequeno papel em A Bronx Tale, dirigido por De Niro.
Serviu como inspiração para um sketch no programa humorístico de televisão Saturday Night Live, chamado Joe Pesci Show, no qual acabou fazendo uma aparição com De Niro. Em 1988 teve também grande participação num filme musical-infantil de Michael Jackson, chamado Moonwalker.
Mais tarde, co-estrelou o sucesso de público Home Alone, de 1990, interpretando um dos ladrões (junto com o amigo Daniel Stern) que tentam roubar a casa do personagem interpretado por Macaulay Culkin. Dois anos depois, repetiu seu papel para a sequência.
Pesci também interpretou David Ferrie, em JFK, de 1991, e protagonizou a comédia My Cousin Vinny, no ano seguinte. Interpretou o personagem Leo Getz na segunda, terceira e quarta parte da série de filmes Lethal Weapon. Posteriormente fez papéis em diversos filmes, incluindo The Super (1991) e Jimmy Hollywood (1994).
Em 1999, Pesci anunciou sua aposentadoria no cinema para seguir uma carreira musical e para aproveitar a vida longe das câmeras. Voltou a atuar quando fez uma participação especial no filme The Good Shepherd, dirigido por Robert De Niro, em 2006. Em 2010 estrelou um romance junto com Helen Mirren chamado Love Ranch.