Han var ambassadør i San José de Costa Rica 1991–1993. I Utenriksdepartementet var han byråsjef 1986–1989, ekspedisjonssjef i 1993 og spesialråd for bistandssaker 1994–1997. Årene 1993–95 tjenestegjorde han som fredsmegler i det tidligere Jugoslavia sammen med Thorvald Stoltenberg. Han var i finalefeltet da FNs generalsekretær skulle velge ny høykommissær for flyktninger.
Han ble utnevnt til ambassadør i Paris sommeren 1997, men rakk knapt å tiltre før han ble utenriksminister fra oktober samme år. Som nei-regjeringens eneste EU-tilhenger gjorde Vollebæk en betydelig innsats da Norge skulle tilpasse seg EØS-avtalen. Han var aldri i tvil om at hovedoppgaven var å ivareta de fordeler Norge hadde fått ved å få tilgang til EUs indre marked. Under henvisning til at «en hvilken som helst regjering ville ha måttet forholde seg til Europa på den samme måte som Bondevik-regjeringen», minimaliserte han sin egen innsats på dette punkt. Men det er ingen tvil om at han gjorde en betydelig innsats som utenriksminister, ikke minst i forholdet til Europa.
I sin tid som utenriksminister var han også formann i OSSE. Ved et tilbakeblikk betegnet han Kosovo og Tsjetsjenia som en håpløs materie å arbeide med. Han sa likevel at dette året var både spennende og engasjerende. Det er ingen tvil om at OSSE-formannskapet også gav Norge et ansikt i europeisk politikk og Vollebæk et visst alburom i forholdet til EU.
Ambassadør til USA, senere karriere
Etter tiden som utenriksminister var Vollebæk ambassadør til USA 2001–2007. Fra 2007 til 2013 var han høykommissær for nasjonale minoriteter i OSSE. Fra 2013 har han vært kommissær i Den internasjonale kommisjon for savnede personer (ICMP).
