Defferary kam im Pub seines Vaters in Kontakt mit durchreisenden Jazzmusikern. Er spielte zuerst in der New Teao Brass Band und der Uncle John Renshaw’s Band. Mit 21 Jahren war mit der Band von Barry Martyn zwei Jahre lang auf Amerika-Tournee. In Los Angeles wurde er Schüler des Klarinettisten Barney Bigard. Später zog es ihn häufig zurück in die USA. Zu seinen Einflüssen zählt er Louis Cottrell junior, Ed Hall, Raymond Burke und Albert Nicholas, mit denen er in Amerika zusammentraf.
Dann gehörte er für drei Jahre zu Keith Smith’s Climax Jazz Band. 1966 und 1967 leitete er die Creole Jazz Band, um dann in John Keen’s New Orleans Band zu arbeiten. Dann arbeitete er mit Mike Casimir’s Paragon Brass Band, mit Barry Martyn, Pat Hawes, John Chilton und Ken Colyer.
Ab 1985 spielte Defferary in der dänischen Papa Bue’s Viking Jazzband eine herausragende Rolle, der er zwölf Jahre lang angehörte. In den Jahren 1997 und 1998 machte er CD-Aufnahmen mit dem amerikanischen Pianisten Ralph Sutton.
Von August 1998 bis November 2006 war John Defferary Mitglied der europäischen Chris Barber Jazz & Blues Band. Er begeisterte dabei durch seine Virtuosität, seine kreolische, unvergleichlich swingende Klarinette und sein dynamisches Saxophonspiel.
2006 entschloss sich Defferary, weniger Zeit mit Tourneen zu verbringen, um mehr Zeit für Musikprojekte mit Lars Edegran’s New Orleans Gospelgroup, mit Peter Banjo Meyers European Jazzgiants und als Gast im Reimer von Essen Trio zu haben und wieder im Trevor Richards New Orleans Trio zu spielen.
Von 2011 bis zum Herbst 2019 war John Defferary Klarinettist der Maryland Jazz Band of Cologne.[1] Er ist weiterhin Mitglied der New Orleans Joymakers.[2]