Jerry Harrison è nato e cresciuto a Milwaukee (Wisconsin), dove rimase fino al termine degli studi pre-universitari. Alle superiori fu parte di un gruppo chiamato The Walkers. A 19 anni, dopo il diploma, si trasferì a Boston per frequentare la facoltà di arte e spettacolo dell'università di Harvard. Lì diede vita a un gruppo chiamato Albatross, le cui sonorità furono influenzate dalle composizioni di Steve Miller e Jimi Hendrix. Il gruppo, che durò un paio d'anni, si esibì principalmente nell'area cittadina di Boston e Cambridge e si sciolse in occasione della vacanza dai corsi dell'estate del 1969. Nel 1970 un ex componente degli Albatross, Ernie Brooks, propose a Harrison di formare un altro gruppo, che nacque con il nome di The Eagles (da non confondersi il pressoché omonimo, e coevo, gruppo West Coastcaliforniano) ma che durò pochissimo, solo due mesi.
Nel 1971, durante un ricevimento, Harrison e Brooks furono presentati a Jonathan Richman da un loro comune amico, il giornalista Danny Fields. Richman iniziò una lunga opera di persuasione per convincere i due a unirsi a un progetto musicale che stava coltivando: questi accettarono, e presero vita i Modern Lovers.
La prima seduta di registrazione avvenne nel 1972 a Los Angeles, sotto la supervisione di John Cale (all'epoca produttore e membro dei Velvet Underground) ma, per motivi legali, il materiale registrato non poté essere pubblicato prima del 1976, quando già Harrison aveva lasciato i Modern Lovers. Nel 1974, infatti, Harrison era tornato a Harvard impiegandosi come insegnante, incarico che tenne fino all'aprile del 1976, anno in cui, in un locale di Boston, assisté a un concerto dei Talking Heads: meno di sei mesi dopo ne divenne membro, l'ultimo in ordine di tempo ad aderirvi.
A quel punto della sua ancor giovane carriera musicale, Harrison era indeciso se intraprendere l'attività da architetto o quella di musicista e, su consiglio di una sua amica, decise di continuare comunque a suonare per i Talking Heads, riservandosi comunque di tornare all'architettura in caso di insuccesso. Il gruppo invece assurse ben presto alla notorietà.
Dopo lo scioglimento dei Talking Heads avvenuto nel 1991, Harrison formò un gruppo insieme all'ex bassista e all'ex batterista del gruppo, i coniugi Tina Weymouth e Chris Frantz: il gruppo, chiamato The Heads, rilasciò un unico album, dal titolo No Talking, Just Head (1996).
L'attività da produttore di Harrison (che vanta anche tre album da solista, The Red and the Black, Jerry Harrison: Casual Gods e Walk on Water) lo ha visto collaborare con diversi gruppi e artisti solisti, spesso dagli stili eterogenei; tra i numerosi progetti seguiti, si segnalano in particolare quelli dei Violent Femmes, dei Foo Fighters, dei Fine Young Cannibals e infine dei Crash Test Dummies.
