Toaffin isä Alfredo Sabato oli Livornon päärabbi ja toivoi pojastaankin rabbia. Opiskeltuaan teologiaa ja lakia 26-vuotiaasta Toaffista tulikin Anconan juutalaisyhteisön päärabbi.[1]
Toisen maailmansodan aikana Toaff auttoi muita italianjuutalaisia piiloutumaan kansallissosialistien juutalaisvainoilta.[1] Hän joutui lopulta itse natsien vangitsemaksi, mutta onnistui pakenemaan.[1][2]
Toisen maailmansodan päätyttyä Toaff toimi alkuun Venetsian päärabbina.[1] Hänet valittiin sodassa pahoin kärsineen Rooman juutalaisyhteisön johtajaksi vuonna 1951, ja hänellä katsotaan olleen huomattava rooli sen elävöittämisessä.[3]
Toaff osallistui juutalaisten ja katolisen kirkon väliseen dialogiin ja hänen katsotaan lähentäneen yhteisöjen välisiä suhteita.[2] Hän järjesti Johannes Paavali II:n vierailun Rooman suureen synagogaan vuonna 1986, joka oli tiettävästi ensimmäinen paavin visiitti synagogassa.[1][4]
Toaff ilmoitti jäävänsä eläkkeelle vuonna 2001.[3][2] Hän kuoli Roomassa 99-vuotiaana vuonna 2015.[1]