Joel è uno dei nove figli di Lucille e Edward J.Murray II. Nato e cresciuto a Willmette (Illinois), un sobborgo di Chicago, in una famiglia cattolica irlandese, è fratello degli attori Bill Murray, Brian Doyle-Murray e John Murray. Al liceo è stato capitano della squadra di football. I suoi primi contatti con il mondo della recitazione furono a Chicago in vari teatri di improvvisazione.
Ha recitato nel 1990 nella serie Grand, nel 1991 nella serie Pacific Station, e nel 1992 in Love & War, serie comica, nel ruolo di Ray Litvak, e nella serie della rete televisiva ABC Dharma & Greg nel ruolo di Pete Cavanaugh, interpretazione che lo ha reso noto anche alla platea internazionale.
Il primo ruolo nel cinema di Joel è stato nel 1986 nella commedia Una folle estate, come George Calamari. Nel 1992 ha recitato nel film Shakes the Clown. Tra gli altri suoi lavori S.O.S. fantasmi (1988), con i fratelli Bill, Brian e John, Hatchet (2006), dove ha interpretato la parte di Shapiro, e God Bless America (2011) di Bobcat Goldthwait, dove ha interpretato la parte di Frank; nello stesso anno ha partecipato al film The Artist, dove interpreta un vigile del fuoco.
Sposato dal 1989 con Eliza Coyle, ha 4 figli. Con i fratelli è proprietario di un ristorante, il "Caddyshack".
