Jaffe leerde piano en kornet spelen, op de middelbare school koos hij voor de tuba. Hij studeerde aan de University of Pennsylvania. Na zijn diensttijd verhuisde hij in 1961 met zijn vrouw naar New Orleans, waar hij betrokken was geraakt bij de concerten die in een kunstgalerie in 726 St. Peter Street werden gegeven door oudgedienden van de jazz. Galerie-eigenaar Larry Borenstein droeg rond 1961 de organisatie van de concerten over op Jaffe, waardoor de Preservation Hall was geboren. Hij ontwikkelde de Preservation Hall onder meer door de oprichting van de Preservation Hall Jazz Band (in feite de band van Kid Thomas Valentine), die niet alleen in de hal speelde maar ook toerde, in binnen- en buitenland. Hierdoor speelde Jaffe een grote rol in de late fases van de carrières van talrijke musici, zoals George Lewis, Jim Robinson, Alcide Pavageau, Punch Miller, Percy Humphrey en Willie Humphrey. Hij heeft zelf ook in de Preservation Hall Jazz Band gespeeld. Zijn zoon, Ben Jaffe, is een bassist, tubaspeler en creative director van de Preservation Hall Jazz Band.
