С 1997 года по 2000 год Рафаэль Гросси был президентом Группы правительственных экспертов ООН по Международному реестру вооружений, а затем стал советником помощника Генерального секретаря ООН по разоружению.
С 2002 года по 2007 год начальник штаба Международного агентства по атомной энергии и Организации по запрещению химического оружия.
Во время работы на аргентинской дипломатической службе он был: генеральным директором по политической координации Министерства иностранных дел, международной торговли и вероисповедания, послом в Бельгии и представителем Аргентины в отделении Организации Объединённых Наций в Женеве
С 2010 года по 2013 год заместитель Генерального директора по вопросам политики МАГАТЭ.
С 2013 года по 2019 год — посол Аргентины в Австрийской республике, МАГАТЭ и других международных организациях, базирующихся в Вене.
В 2019 году был избран генеральным директором МАГАТЭ.
В 2017 году он привлёк акустиков из числа наблюдателей за взрывами, чтобы найти подлодку «Сан-Хуан». В результате был идентифицирован сигнал. Подлодка была обнаружена в 20 км от места сигнала.
Участвовал в заседании Совета безопасности ООН 11 августа 2022 года по теме Запорожской АЭС. Выразил желание отправиться в район Запорожской АЭС. 31 августа утром миссия МАГАТЭ выехала из Киева[4].
28 октября 2022 года Рафаэль Гросси заявил, что надеется на скорое создание безопасной зоны вокруг Запорожской АЭС. "Мы подошли к моменту, когда все согласны с тем, что должна быть установлена зона безопасности. Мы обсуждаем ее параметры. Но эти дискуссии занимают слишком много времени. Мы уже должны были создать зону безопасности. И это был один из главных моих посылов членам СБ ООН. Надеюсь, что ее создание - это вопрос дней" - сказал Гросси журналистам.[5]
31 октября 2022 года Гросси заявил, что эксперты МАГАТЭ начали проверку на двух ядерных объектах Украины после сообщений о "грязной бомбе".[6]