Il fait partie de l'expédition de La Fayette pour aider les Américains révoltés, avant de rentrer en France poursuivre sa carrière militaire. Il est Ministre plénipotentiaire à La Haye en 1792 avant d'émigrer (son père, son oncle et son beau-père, Arthur Dillon, sont guillotinés).
Il est l'un des trois ambassadeurs adjoints à Talleyrand au congrès de Vienne. Ce dernier précise : « J’emmène Dalberg pour propager les secrets que je veux que tout le monde sache, Noailles est l’homme du pavillon de Marsan ; mieux vaut être surveillé par un agent que j’ai choisi. La Tour du Pin servira à signer les passeports ».
Refusant de se rallier à la révolution de Juillet, il cesse de siéger à la Chambre des pairs après la Révolution de 1830, puis aide la duchesse de Berry dans ses tentatives de prise de pouvoir. Il est emprisonné trois mois au fort du Hâ entre et et choisit de s'exiler à Lausanne où il meurt le . Ayant hérité du château du Bouilh, il le vend en 1835.
Mariage et descendance
Il épouse à Paris le Henriette Lucy Dillon, fille d'Arthur Richard Dillon, comte Dillon, député, maréchal de camp, et de Marie-Thérèse de Rothe, dame d'honneur de la Reine Marie-Antoinette. Plus tard, elle devint célèbre par ses Mémoires d'une femme de cinquante ans, sur la fin de l'ancien régime, la Révolution et le début du XIXe. De ce mariage, sont issus :
Humbert de La Tour du Pin, comte de la Tour du Pin Gouvernet (1790-1816), auditeur au Conseil d'État, sous-préfet, rallié à la Restauration en 1814, lieutenant-colonel en 1815, mort dans un duel, sans alliance ;
Charlotte de La Tour du Pin Gouvernet (1796-1822), mariée en 1813 avec le comte Charles Florent Auguste de Liedekerke Beaufort, chambellan, puis ambassadeur du Roi Guillaume 1er des Pays-Bas (1789-1855). Elle est la mère d'Hadelin de Liedekerke-Beaufort ;
Cécile de La Tour du Pin Gouvernet (1800-1817), fiancée avec le comte Charles de Mercy-Argenteau. Elle mourut avant son mariage ;
Aymar de La Tour du Pin, marquis de Gouvernet, comte de Paulin, aide de camp de la duchesse de Berry en 1831-1832, puis exilé (1806-1867), marié en 1854 avec Caroline Louise Claire de La Bourdonnaye-Blossac, dont deux fils.
↑René Bargeton, Pierre Bougard, Bernard Le Clère, Pierre-François Pinaud, Les Préfets du 11 ventôse an VIII au 4 septembre 1870 (œuvre littéraire), Archives nationales, France, , [lire en ligne], consulté le .