Parry startet sin karriere i bandet Joker's Wild sammen med David Gilmour på midten av 1960-tallet. Gilmour ble senere med i Pink Floyd, og han hentet inn Parry under innspillingen av The Dark Side of the Moon. Parry bidro med saksofon på flere sanger på albumet. På 1970-tallet var Parry nærmest fast gjestemusiker for Pink Floyd, og han har også spilt saksofon for Gilmour som en del av hans turné-band på 2000-tallet. I 1979-80 spilte han med The Who under deres verdensturné.
Parry var også med Pink Floyd under Live 8-«gjenforeningen» i juli 2005, og spilte sin saksofonsolo da bandet fremførte «Money».
