In de begin jaren zestig - de periode voorafgaand aan Avory's toetreden tot The Kinks - was Avory de drummer van Bobby Angelo & The Tuxedos. Ze scoorden een bescheiden hitje met het nummer Baby Sittin' . Nadat Avory de band verliet, werd hij in 1962 tweemaal gevraagd om drums te spelen voor een repetitie met muzikanten in een Londense kroeg. Deze muzikanten zouden later The Rolling Stones vormen. Avory werd er geen onderdeel van.
In 1964 kwam Avory als drummer bij The Kinks, nadat de voormalige drummer Micky Willet de band verliet. Bij de vroege opnames van de band speelde Avory niet of slechts aanvullend mee. MuziekproducentShel Talmy huurde meer ervaren drummers in. Pas vanaf 1966 speelde Avory drums op alle Kinks-opnames tot aan zijn vertrek in 1984. Hoewel de band grote successen boekte, was de onderlinge verhouding tussen bandleden vaak onstabiel. De wat terughoudende Avory kwam nu en dan in conflict met gitarist Dave Davies, wat in sommige gevallen leidde tot ruzies en gevechten op het podium tijdens optredens. Als gevolg hiervan besloot Avory in 1984 om de band te verlaten.
Nadat Avory The Kinks had verlaten, richtte hij zich op andere muzikale projecten. In 1996 werd The Kast Off Kinks opgericht. Avory sloot zich aan bij deze band, samen met andere voormalige bandleden van The Kinks. Avory was in 2004 betrokken bij de oprichting van de band The Class of 64. Ze toerden samen met The Animals, die hun 40-jarige jubileum vierden. Na de toer werd de band opgeheven en begon Avory een nieuwe band: The Legends of the Sixties. Enige tijd later vormde hij de band 60s All Stars. In zijn latere jaren speelt Avory in verschillende bands en -formaties en treedt hij nu en dan op als gastartiest.
