Jaffee oli taustaltaan juutalainen ja hänen alkuperäinen äidinkielensä oli jiddiš.[6] Hänen vanhempansa olivat Yhdysvaltoihin muuttaneita liettuanjuutalaisia, ja lapsuudessaan hän asui kuusi vuotta äitinsä kanssa juutalaisessa kylässä eli shtetlissäLiettuanZarasaissa. Jaffee oli 12-vuotias palatessaan Yhdysvaltoihin.[6][5][1] Hän muutti myöhemmin virallisesti etunimensä Abrahamista Allaniksi.[1]
Madiin Jaffee siirtyi vuonna 1955.[2] Hän jätti lehden hieman myöhemmin yhdessä Kurtzmanin kanssa piirtääkseen tämän uusiin julkaisuihin, mutta palasi Madiin jo vuonna 1958.[3] Alkuaan Jaffee ainoastaan kirjoitti Madiin, mutta myöhemmin hänestä tuli piirtäjä-käsikirjoittaja, tosin hän pysyi freelancerina eikä ollut koskaan virallisesti lehden palkkalistoilla.[1] Kirjoittajana hän suosi terävää ja iskevää huumoria.[2] Vuonna 1964 hän kehitti kuuluisan Madin taittelutehtävän. Siinä takakannen piirros ja kuvateksti muuttuvat oikein taiteltaessa toiseksi kuvaksi ja tekstiksi, johon usein sisältyy satiirinen viesti.[5][1] Pienemmäksi taiteltava kuvasivu (fold-in) oli samalla tarkoitettu vastakohdaksi muiden lehtien isommaksi taiteltaville keskiaukeamakuville (fold-out).[1]
Muita Jaffeen kuuluisia ideoita ovat kirjoinakin julkaistut Snappy Answers to Stupid Questions (”Teräviä vastauksia typeriin kysymyksiin”) -piirrokset, joista ensimmäinen ilmestyi Madissa vuonna 1965, sekä kaaviokuvin varustetut esittelyt arkipäivää helpottamaan tarkoitetuille naurettaville kuvitteellisille keksinnöille.[3][1] Jaffee jäi lopullisesti eläkkeelle vasta 99-vuotiaana kesäkuussa 2020. Pääosin uuden sisällön tuottamisesta luopunut Mad julkaisi hänen lähtönsä yhteydessä Al Jaffee -erikoisnumeron.[5]
Jaffee eli pääosan elämästään Manhattanilla New Yorkissa. Hän oli naimisissa kahdesti ja hänellä oli useita lapsia, joista osa ottolapsia. Hän kuoli monielinhäiriöön manhattanilaisessa sairaalassa 102-vuotiaana vuonna 2023.[1]