Shearer nació en Los Ángeles, California, hijo de Dora Warren, una vendedora de libros, y Mack Shearer.[1] Sus padres eran inmigrantes judíos de Austria y Polonia.[2][3] Después de finalizar la escuela secundaria, Shearer cursó sus estudios universitarios en UCLA y en Harvard. En mayo de 2006, recibió un doctorado honorario de la Universidad Goucher. Se casó con Penelope Nichols en 1974, y se divorció en 1977. Desde 1993, Shearer está casado con la cantante y compositora Judith Owen.
Shearer fue guionista para programas televisivos tales como Fernwood 2-Night y Laverne & Shirley. En agosto de 1979, fue contratado como escritor y miembro del elenco de Saturday Night Live, convirtiéndose en el reemplazo no oficial de John Belushi y Dan Aykroyd, quienes habían abandonado el programa. Según el libro Saturday Night: A Backstage History of Saturday Night Live, Shearer no se llevaba bien con sus compañeros de trabajo, quienes lo describieron como "peleador". Su primera temporada en SNL terminó cuando Lorne Michaels abandonó el programa, llevándose a todos sus compañeros con él.
Harry regresó a Saturday Night Live en la temporada 1984-1985, finalmente abandonando en enero de 1985 por "diferencias creativas". Cuando se le pidió una explicación por su partida, dijo "Yo era creativo; ellos eran diferentes".
Shearer cocreó, coescribió y coprotagonizó la película de 1984 de Rob ReinerThis Is Spinal Tap con Michael McKean y Christopher Guest. Los tres también colaboraron en la aclamada remake de 2003 A Mighty Wind, la cual fue escrita por Guest y Eugene Levy (pero en gran parte improvisada por los actores) y dirigida por Guest. Shearer tuvo también un papel protagónico en la película parodia de los premios Oscar For Your Consideration (2006). El trabajo en televisión de Shearer también incluye dos especiales para Cinemax, "It's Just TV", y "This Week Indoors" (cocreado con Merrill Markoe) y "The Magic of Live". Dirigió los seis episodios completos de la serie de televisión "The History of White People in America", cocreada por Martin Mull y Allen Rucker, además del capítulo final de la serie de dos horas de duración, "Portrait of a White Marriage". También coescribió y dirigió el especial de Paul Shaffer para HBO, "Viva Shaf Vegas" (con Shaffer y Tom Leopold). Su primera obra de teatro, la cual escribió y dirigió, fue "Teddy Bears' Picnic", una comedia oscura basada en los trabajos de Bohemian Grove, el retrato secreto de la élite.
Shearer ha publicado tres libros, "Man Bites Town" (una colección de sus columnas en Los Angeles Times Magazine), "It's the Stupidity, Stupid", y "Not Enough Indians", una novela cómica sobre los americanos nativos y las apuestas.[7]
En 1995 Shearer apareció en la serie de comedia australianaFrontline, en el episodio "Changing the Face of Current Affairs". En este, interpretó al personaje de Larry Hadges, contratado por el grupo Frontline para mejorar el estilo del programa, con resultados hilarantes.
En 2006 Shearer apareció con Brian Hayes en una comedia de radio de seis partes en la BBC Radio 4 llamada Not Today, Thank You, en la cual interpreta a Nostrils, un hombre tan poco agraciado que no puede estar con su propia presencia.[9]
En 2008 Harry grabó el CD de música "Songs of the Bush Men".
En 2015, Shearer dejará de lado su trabajo de voces con uno de los programas más longevos de la televisión Los Simpsons. Desde Deadline informan que el actor de voces ha renunciado a la serie luego de 25 años.[10]