Grandi begynte sin karriere innen FNs høykommissær for flyktninger (UNHCR) i 1988, og har tjenestegjort i en rekke land, blant annet Sudan, Syria, Tyrkia og Irak etter den første gulfkrigen. Han har også ledet en rekke nødhjelpsoperasjoner i blant annet Kenya, Ghana, Liberia, Jemen, Afghanistan og flere andre steder i Afrika. Fra 1996 til 1997 var han feltkoordinator for UNHCR og FN i Den demokratiske republikken Kongo under borgerkrigen i landet. Fra 1997 til 2001 jobbet han for UNHCR i Genève som spesialassistent og senere stabssjef. Fra 2001 til 2004 var han leder for alle UNHCR sine oppdrag.