Accardo syntyi Pohjois-Italiassa ja opiskeli viulua Napolissa 1950-luvulla. Hän esiintyi ensimmäistä kertaa 13-vuotiaana, jolloin hän soitti Paganinin kapriisit viululle. Accardo voitti vuonna 1956 Geneva-kilpailun ja kaksi vuotta myöhemmin Paganini-kilpailun Genovassa. Vuonna 1986 Accardo oli yksi Walter Stauffer-akatemian perustajista ja vuonna 1992 hän perusti Accardo-kvartetin.
Accardolla on kaksi Stradivarius-viulua ja on ensimmäinen viulisti, joka on levyttänyt kaikki Paganinin kuusi viulukonserttoa.
