W grudniu 1953 podjął pracę w służbie dyplomatycznej Stolicy Apostolskiej. Początkowo pracował w sekcji nadzwyczajnych spraw Kościoła Sekretariatu Stanu jako ekspert ds. Wietnamu, Chin, Indonezji i Azji Południowo-Wschodniej. Otrzymał tytuł papieskiego nadzwyczajnego tajnego szambelana (grudzień 1957), później również prałata honorowego Jego Świątobliwości (grudzień 1965). W latach 1958–1969 był osobistym sekretarzem dwóch kolejnych sekretarzy stanu – kardynałów Domenica Tardiniego i Amleta Giovanniego Cicognaniego. Od 1969 pracował w Radzie Spraw Publicznych Kościoła, początkowo w sekcji organizacji międzynarodowych, pokoju, rozbrojenia i praw człowieka; brał udział w wielu spotkaniach i konferencjach międzynarodowych. W 1971 towarzyszył sekretarzowi Rady arcybiskupowi Agostinowi Casarolemu w Moskwie na rozmowach w sprawie udziału Watykanu w traktacie o broni nuklearnej. Uczestniczył we wszystkich etapach przygotowania aktu końcowego Konferencji Bezpieczeństwa i Współpracy w Europie w Helsinkach i Genewie. Na kilku konferencjach międzynarodowych stał na czele delegacji Watykanu. Od lipca 1973 był podsekretarzem w Radzie Spraw Publicznych Kościoła. Prowadził wykłady w Papieskiej Akademii Duchownej w Rzymie, będącej szkołą dyplomatyczną Stolicy Apostolskiej.
4 maja 1979 został mianowany sekretarzem Rady Spraw Publicznych Kościoła, jednocześnie arcybiskupem tytularnym Novaliciany. Sakry udzielił mu 27 maja 1979 w Watykanie Jan Paweł II, któremu towarzyszyli arcybiskupi Duraisamy Simon Lourdusamy i Eduardo Martínez Somalo. W latach 1979–1984 stał na czele delegacji Watykanu na rozmowy z rządem włoskim w sprawie rewizji konkordatu laterańskiego. Reprezentował Stolicę Apostolską w rozmowach z wieloma rządami na świecie, także z władzami polskimi (1987).
W styczniu 1999 został podniesiony do godności kardynała prezbitera, zachowując dotychczasową diakonię S. Benedetto fuori Porta S. Paolo w charakterze tytułu prezbiterskiego na zasadzie pro hac vice. W listopadzie 2000 zrezygnował z funkcji prefekta Kongregacji Kościołów Wschodnich (zastąpił go patriarcha Ignacy Mojżesz I Daoud), a w październiku 2003 ukończył 80 lat i utracił prawo udziału w konklawe.