Fry begynte sin musikalske karriere da han som yngre kom inn på Royal Academy of Music. I 1963, i en alder av 17 år, kom han inn i London Philharmonic Orchestra (LPO) som en av deres perkusjonister. Han forble i orkesteret frem til 1968, og fikk dermed erfaring med å arbeide for personligheter som Danny Kaye, Fred Astaire, Igor Stravinskij, Frank Sinatra og Duke Ellington. I tiden etter LPO var han med på å grunnlegge ensembler som Nash, Fires of London og London Sinfonietta samt et jazzband under ledelse av John Dankworth.