Wexler var fødd i The Bronx i New York City i ein jødisk familie og voks opp i Washington Heights på Manhattan.[1] I 1935 starta Wexler det som i dag er Kansas State University og droppa ut fleire gonger. Etter militærtenesta vart Wexler ein seriøs student og gjekk ut frå Kansas State med ein grad i journalisme i 1946.
I 1979 produserte Wexler Bob Dylan sitt kontroversielle nykristne album, Slow Train Coming ved Muscle Shoals. Ein singel frå albumet, «Gotta Serve Somebody», vann ein Grammypris i 1980. Då Wexler gjekk med på å produsere albumet, var han ikkje klar over det nykristne innhaldet i songane hans. «Naturlegvis ønskte eg å spele inn albumet i Muscle Shoals - og det same ønskte Bob - men me valde å førebu det i L.A., der Bob budde», fortalte Wexler. «Det var då eg forstod kva songane handla om... eg likte ironien om at Bom kom til meg, den vandrande jøden, for å få ei Jesus-kjensle... men eg hadde inga aning om at kva han heldt på med før han byrja å preike evangeliet for meg. Eg sa 'Bob, du snakkar til ein 62 år gammal konfirmert jødisk ateist. Eg er håplaus. La oss berre lage eit album..'»
I 1983 spelte Wexler inn musikk med den britiske popstjerna George Michael. Det mest kjende opptaket vart til ein sjeldan, tidleg versjon av «Careless Whisper», spelt inn i Muscle Shoals.
I 1987 vart Wexler innlemma i Rock and Roll Hall of Fame.[7]
Han trekte seg attende frå musikkindustrien seint i 1990-åra.
Jerry Wexler døydde i heimen sin i Sarasota i Florida den 15. august 2008 hjartesvikt. Då han vart spurt fleire år før han døydde kva han ønskte på gravsteinen sin, svarte Wexler «To ord: 'More bass.’”[2]