Професионалну службу обављао је у Москви (1973–75 и 1981–84), Паризу, Каракасу и Бечу, гдје је предводио америчку делегацију на Конференцији о безбједности и сарадњи у Европи (1986–1989).
Зимерманова улога у рату у Босни и Херцеговини
Према Роберту В. Такеру, професору емеритусу америчке спољне политике на Универзитету Џонс Хопкинс, и Давиду С. Хендерсону, професору на Колорадо Колеџу, Зимерман је вјероватно најодговорнија особа за неусвајање Лисабонског споразума, познатог и као мировни план Карингтон-Кутиљеро. Поменути споразум би успоставио мир између три етничке групе: Бошњака, Срба и Хрвата, који живе на простору Босне и Херцеговине, стварањем кантонског система какав постоји у Швајцарској. У вријеме када је БиХ клизила у сукоб по етничким линијама, овај план је предвиђао подјелу власти на свим административним нивоима и преношење централне власти на ниже локалне етничке заједнице. Међутим, дана 28. марта1992. године, десет дана након потписивања Лисабонског споразума од сваке од три стране, Зимерман је дошао у Сарајево како би се састао са Алијом Изетбеговићем, лидером босанских Муслимана, увјеравајући Изетбеговића у пуну подршку пуној независности БиХ без икакве унутрашње децентрализације. У року од неколико дана након састанка са Зимерманом, Изетбеговић је повукао свој потпис са поменутог споразума одрекавши се мировног споразума, изненада изјављујући да се противи било каквој етничкој подјели Босне и Херцеговине. За неколико седмица у БиХ се развио рат у свом најстрашнијем облику.
Ипаk, сам Зимерман никада није признао да је савјетовао Изетбеговића да одбаци Лисабонски план. "Ја сам у ствари заступао тезу да треба да се држи споразума ако га је потписао. Наговарао сам га да не повуче свој пристанак, јер је је позиција моје владе била да ћемо подржати све о чему се три стране договоре са Европском заједницом. [3] .
Пишући 1997. године, Алфред Шерман, британски политички аналитичар и савјетник Маргарет Тачер, описао је Зимерманово учешће у БиХ, ао и комплетну америчку спољну политику на Балкану, као "лагање и варање, подстицање рата у коме су цивили главна жртва и коме су древне мржње хране саме собом".
Према Саманти Пауер, аутору књиге "Проблем из пакла: Америка и доба геноцида", Зимерманова каријера у СФРЈ била је обиљежена "фрустрацијом због отпора Бушове администрације да интервенише".[4]
Његов последњи службени чин прије него што је повучен са службе у САД, 16. маја1992. године, био је да државном секретару напише повјерљив меморандум под називом "Ко је убио Југославију?". У Зимермановој анализи, оно што је довело до пропасти државе јесте национализам балканских лидера.
Оставку на дипломатску службу поднио је 1994. године у знак протеста због одбијања предсједника Сједињених Држава, Била Клинтона да интервенише у рату Босни и Херцеговини. Цијело вријеме водио је кампању са циљем да увјери САД да мора дјеловати како би окончали оно што је он видео као "српску агресију у убијању" и био је мишљења да би "ваздушни напади НАТО-а на Србе у било ком тренутку током рата зауставили рат и довели до договора".
Наставио је предавати на Универзитету Џонс Хопкинс (1994—96) и Универзитету Колумбија (1996—2000). О свом иксуству у Југославији написао је књигу "Порекло катастрофе" (1996). Умро је од последица канцера панкреаса 3. фебруара2004. године у својо кући у мјесту Грејт Фолс (Вирџинија, САД).