Terzi ha intrapreso la carriera diplomatica nel 1973.
Durante i primi due anni al Ministero degli affari esteri è stato responsabile al Cerimoniale della Repubblica e per le visite ufficiali delle delegazioni del governo italiano all'estero. Nel 1975 gli è stato affidato l'incarico di primo segretario per gli affari politici all'Ambasciata italiana a Parigi. Tornato a Roma nel 1978, come Assistente Speciale del Segretario Generale, è stato in Canada come Consigliere Economico e Commerciale per quasi cinque anni, periodo di forte crescita della cooperazione economica e high-tech tra Italia e Canada. È stato Console Generale a Vancouver durante l'Expo 86, dove ha promosso grandi eventi per l'imprenditoria e la cultura italiana sulla costa pacifica del Canada. Nel 1987 è tornato a Roma per prestare servizio, prima presso la direzione generale degli affari economici, dove si è occupato soprattutto di nuove tecnologie e in seguito alla direzione generale del personale. Il suo successivo incarico all'estero è stato a Bruxelles, dove ha ricoperto la carica di consigliere politico presso la Rappresentanza d'Italia alla NATO subito dopo la Guerra Fredda, la riunificazione tedesca e la prima Guerra del Golfo.
Dal 1993 al 1998 è a New York presso la Rappresentanza d'Italia alle Nazioni Unite, dapprima come primo consigliere per gli affari politici e successivamente come ministro e vice rappresentante permanente, sotto la guida dell'Ambasciatore Francesco Paolo Fulci. Durante questo periodo - segnato dalla Guerra in Bosnia, dalla Guerra civile somala e dai conflitti nella regione dei Grandi laghi africani - l'Italia è stata membro non permanente del Consiglio di sicurezza delle Nazioni Unite. A metà degli anni Novanta la globalizzazione e le nuove sfide alla sicurezza internazionale sottolineavano la necessità di grandi riforme degli organi dell'ONU, una causa che l'Italia ha sostenuto in tutte le sedi dell'ONU
Ha anche prestato servizio presso il Ministro degli affari esteri a Roma come vicesegretario generale, direttore generale per la cooperazione politica multilaterale e diritti umani e direttore politico, occupandosi principalmente di sicurezza internazionale e di questioni politiche, con particolare riferimento all'attività del Consiglio di sicurezza, dell'Assemblea generale e del Consiglio per i diritti umani delle Nazioni Unite, oltre che a quella di organi quali il Consiglio Europeo, la NATO, il G8 e l'OSCE. Ha inoltre consigliato il ministro degli Esteri in materia di sicurezza internazionale, concentrandosi sui Balcani occidentali, il Medio Oriente, l'Afghanistan, l'Africa orientale, la proliferazione nucleare, il terrorismo e i diritti umani.
È stato ambasciatore d'Italia in Israele tra il 2002 e il 2004, un periodo caratterizzato dallo scoppio della Seconda Intifada, dal miglioramento delle relazioni tra l'UE e Israele durante la Presidenza italiana dell'UE (luglio-dicembre 2003) e dal rinnovato impegno di Israele e dell'Autorità Palestinese nel processo di pace.
Dal 20 agosto 2008 al 30 settembre 2009, è stato rappresentante permanente d'Italia alle Nazioni Unite a New York, dove ha guidato la delegazione italiana al Consiglio di Sicurezza durante l'ultimo periodo del biennio italiano come membro non permanente (2007-2008).
Il 16 novembre 2011 è nominato ministro degli affari esteri del governo Monti. Prestando giuramento soltanto il giorno successivo, perché si trovava a Washington nell'esercizio del suo mandato di Ambasciatore negli Stati Uniti.[2][3]. Nel corso del suo mandato, ha svolto 1.483 incontri ed eventi, che hanno riguardato 91 Paesi diversi, con 75 visite ufficiali all'estero e 138 incontri con altri ministri degli esteri, dei quali 63 in Italia e 75 all'estero[4].
Durante il suo mandato ha sostenuto il "Gruppo Westervelle" di 11 ministri degli esteri dedicato al tema "più Europa"[5]. Ha promosso la moratoria per la pena di morte e la campagna per l'eliminazione delle mutilazioni genitali femminili[6]. Ha promosso con Albania e Grecia la firma dell'intesa fra i tre Ministri degli esteri per la realizzazione del gasdotto "Transadriatico".[7] Recandosi a Mogadiscio[8], ha riattivato i rapporti a livello politico con le nuove istituzioni della Somalia, al fine di garantire appoggio per la stabilizzazione della regione del Corno d'Africa.[9]
Il fermo da parte dell'India dei due marò italiani Massimiliano Latorre e Salvatore Girone nelle acque internazionali al largo della costa del Kerala il 16 febbraio 2012, a seguito della morte di due pescatori, causata secondo l'India dalla nave cisterna italiana Enrica Lexie e dalla sua unità di protezione militare, mentre è in servizio ufficiale nel quadro delle attività internazionali anti-pirateria, causano una controversia internazionale sulla giurisdizione tra l'India e l'Italia.
La disputa venne portata dal governo italiano presso l'ONU e l'UE, e discussa a livello bilaterale e multilaterale con l'India, al fine di risolverla tramite arbitrato internazionale, sulla base delle procedure previste dalla Convenzione delle Nazioni Unite sul diritto del mare (UNCLOS), di cui sia l'Italia che l'India sono firmatari.[10][11] L'India si opponeva tuttavia all'arbitrato in sede UNCLOS.
Durante la gestione della crisi e approfittando di un permesso elettorale ottenuto dai due marò Massimiliano Latorre e Salvatore Girone, il ministro Terzi l'11 marzo 2013 annunciava - a nome e d'intesa con il governo[12] - che i due fucilieri non avrebbero fatto ritorno in India alla scadenza del permesso fino a quando l'arbitrato sulla base dell'UNCLOS non avrebbe stabilito in materia di giurisdizione.[13]
Il presidente del Consiglio Monti smentì Terzi, annunciando la decisione di rimandare i due marò in India secondo gli accordi. Terzi protestò per iscritto, annunciando possibili dimissioni.
La reazione indiana fa salire la tensione finché il 21 marzo successivo, con un comunicato stampa, Palazzo Chigi[14] annuncia la decisione di rinviare in India i due fucilieri. Il cambio improvviso di strategia del governo viene criticato[15], anche se il ministro inizialmente - nell'attesa di chiarimenti con il Presidente del Consiglio - respinge l'idea di dimissioni.[16]
Successivamente, il 26 marzo 2013, Terzi annuncia alla Camera, in diretta televisiva,[17] le sue dimissioni da ministro degli esteri a causa del suo dissenso con la posizione del governo.[18] L'interim del dicastero è stato assunto dal Presidente del Consiglio Mario Monti il giorno successivo.
Le dimissioni di Terzi sono state criticate da Monti il quale alla Camera dei Deputati ha sostenuto che Terzi non avrebbe mai - prima di quel giorno - espresso il proprio dissenso riguardo alla strategia adottata in via collegiale dal Consiglio dei Ministri e tanto meno avrebbe mai espresso la sua intenzione di dimettersi. Secondo Monti, l'obiettivo perseguito da Terzi non sarebbe stato quello di modificare la decisione governativa, ma quello più esterno di conseguire "altri risultati che magari nei prossimi tempi diventeranno più evidenti".[19] Terzi ha contestato questa versione dei fatti, affermando alla stampa di essere stato costretto alle dimissioni in quanto la sua strategia diplomatica risultava a quel punto disallineata da quella del Presidente del Consiglio.[20][21][22][23]
Il 29 marzo 2013, in un'intervista ad un programma giornalistico televisivo[24][25] a proposito di questa vicenda, Terzi affermò di aver ricevuto pressioni per autorizzare il rientro dei due marò in India, pressioni che rifiutò e che portarono alle sue dimissioni.
Dal 2016 è membro dell'advisory board e rappresentante in Italia della lobby United Against Nuclear Iran (UANI)[30], presidente del Global Committee for the Rule of Law,[31], presidente del dipartimento relazioni internazionali della Fondazione Luigi Einaudi di Roma[32].
^Link alla scheda Terzi sul sito UANI, su www2.unitedagainstnucleariran.com. URL consultato il 15 settembre 2016 (archiviato dall'url originale il 5 maggio 2016).