Entre et , à bord du croiseur Jules Michelet, il fait partie de l'expédition de propagande et de prestige de la Marine française commandée par l'Amiral Gilly, qui visite jusqu'à l'Extrême-Orient (et notamment le Japon, où Paul Claudel est ambassadeur) et l'Océanie. Passant en Australie, il rencontre son homonyme et lointain cousin, le général sir Harry Chauvel, héros de la guerre en Orient. Passant en Éthiopie, il fait la connaissance du futur empereur Hailé Sélassié, alors obscur et lointain dans l'ordre de succession au trône.
Son premier poste diplomatique (3e secrétaire) le conduit en Chine. Avant de partir, il rencontre Alexis Léger, plus tard connu comme le poète Saint-John Perse qui rentre de ce pays. Les deux hommes vont rester liés et, lorsque Léger sera devenu secrétaire général du ministère des Affaires étrangères, il fera souvent appel à Chauvel. En Chine, Chauvel épouse Diane de Warzée[2], la fille de l' ambassadeur au Japon (avec le titre de ministre).
Après la Chine, le Haut-commissariat au Liban et en Syrie de 1929 à 1934. À Beyrouth (à ce temps sous mandat français), Chauvel rencontre le futur général de Gaulle. En rentrant, il retrouve l'administration centrale, d'où il préparera pour le compte du gouvernement Blum la sortie du mandat international de la France sur le Liban.
Après cette dernière mission, Chauvel est renvoyé à l'étranger : c'est Vienne en Autriche. On est en début 1938. Peu de temps après, Hitler fait l'Anschluss et envahit l'Autriche. Le ministre de France est rappelé à Paris. Premier secrétaire de l'ambassade, Chauvel est promu chef de poste avec le titre de consul général. Il s'emploie à obtenir de nombreux visas pour permettre aux Juifs de quitter le pays et prépare la fermeture du poste diplomatique en expédiant les papiers, l'argenterie, etc. de l'ambassade. Il rentre à Paris avec la guerre. La débâcle le plonge dans la consternation. Il rejoint l'administration exilée à Vichy auprès du maréchal Pétain. De là, grâce à la représentation diplomatique américaine, il fait passer des informations à Londres.
En , au moment de l'invasion de la "zone libre", il est le diplomate de plus haut rang à démissionner, emmenant avec lui tous les jeunes (notamment le futur ministre Louis de Guiringaud). Il entre alors dans la clandestinité et fonde un groupe de réflexion chargé de reconstituer les nombreuses archives détruites dans la panique de 1940. Il rejoint le gouvernement provisoire à Alger début 1944. Dans l'été, il est nommé avec un titre équivalant à celui de secrétaire général des Affaires étrangères, détenu avant guerre par Alexis Léger réfugié aux États-Unis. Un différend l'oppose à de Gaulle et Chauvel s'éloigne. Le départ de de Gaulle provoque son rappel avec le titre de secrétaire général (1946-1949) et la dignité d'ambassadeur de France.
Comme secrétaire général, Chauvel décide de renforcer la fonction du ministre au détriment de la sienne : il juge l'autorité excessive du secrétaire général en partie responsable de la défaite de 1940. Il doit aussi négocier le rétablissement des positions françaises affaiblies par la défaite.
En 1949, il se fait désigner comme ambassadeur auprès de l'ONU qui n'a pas encore de siège fixe. Il part bientôt pour New York. Il y restera jusqu'en 1952. De là, il est envoyé à Berne en Suisse. Il y devient en 1954 le principal négociateur français de la conférence pour finir la guerre d'Indochine tenue à Genève sous l'égide de Bidault puis de Mendès France.
En 1954, il s'oppose à la nomination de Romain Gary à l'ambassade de Londres. Romain Gary écrit: "Chauvel s'est cru reconnaître dans le personnage de l'ambassadeur de ma nouvelle publiée par La Table Ronde et Harpers et a formulé un veto contre ma nomination à Londres.". L'ambassadeur avait eu tort de se reconnaître dans sa nouvelle qu'il avait écrite en 1948 à Sofia[3]. Cette nouvelle décrivait un diplomate homosexuel marié. Or: "Au printemps 1951, une affaire de mœurs éclata à l’ambassade de France à Washington. Un diplomate de haut rang, marié, père de famille et qui se piquait de littérature, fut surpris en flagrant délit pendant une rafle de police dans un hôtel fréquenté par des homosexuels. Il fut laissé en liberté grâce à sa qualité de diplomate (...) Pour éviter le scandale le Français fut invité par un fonctionnaire du département d’État à quitter son poste dans les vingt-quatre heures."[4].
Gaëtan Picon écrit à propos de Jean Chauvel et de son recueil D'une eau profonde : « Discrète, rare, et d'une délicate élaboration, la poésie de Jean Chauvel [...] donne une noblesse émouvante à son langage et à son univers d'images »[6].
