Joyce werd geboren in een Ierse immigrantenfamilie als jongste van vijf kinderen en begon met drummen in zijn vroege tienerjaren. Geïnspireerd door de plaatselijke punkidolen Buzzcocks speelde hij in de onsuccesvolle punkgroepen The Hoax en Victim. Via zijn huisgenoot kwam hij in aanraking met gitarist Johnny Marr, die op zoek was naar een drummer voor zijn nieuwe band The Smiths. Ondanks dat hij tijdens zijn auditie onder de invloed was van paddo's werd hij aangenomen. Joyce bleef de vaste drummer van The Smiths tot de opheffing van de groep in 1987.
Na het einde van The Smiths diende Joyce een aanklacht in over de in zijn ogen oneerlijke verdeling van royalty's. Desondanks begeleidde hij Morrissey aan de start van zijn solocarrière, maar hun samenwerking werd beëindigd toen hij weigerde zijn aanklacht in te trekken. In 1996 werd Joyce door de rechtbank in het gelijk gesteld en werd een schadevergoeding van ruim één miljoen pond toegewezen, alsmede 25% van de toekomstige royalty's. Dit tot grote woede van Morrissey, die sindsdien geen goed woord voor Joyce overheeft.
.svg){kind=small}
