Nach dem Tod seines Vaters 1764 zog er sich auf das Schloss Les Ormes zurück[7], das er von ihm geerbt hatte und das er nur noch verließ, um die Inspektionsreisen zu unternehmen, zu denen er verpflichtet war, und reiste auch nur dann an den Hof in Versailles, wenn er gerufen wurde. Die Beziehungen, die er zum (ab Dezember 1770) auf dessen nahe gelegenen Schloss Chanteloup verbannten Herzog von Choiseul pflegte, trugen ihm sogar den Verdacht ein, auf Seiten der Opposition zu stehen.
Als im Zusammenhang mit dem Amerikanischen Unabhängigkeitskrieg Auseinandersetzungen mit England drohten, wurde er als Militär reaktiviert. 1775 wurde er Militärkommandant in Saintonge, Poitou und Aunis, was auch Aufgaben wie die Inspektion der Küsten umfasste, wo er die Trockenlegung der Sümpfe von Rochefort und die Befestigung der Île-d’Aix leitete. Bei den Arbeiten in Rochefort zog er sich im August 1782 Malaria[8] zu, der er am 18. September 1782 auf Schloss Les Ormes erlag. Er wurde in der Familiengruft in Paulmy bestattet.
1769 verkaufte er das Schloss Asnières und ließ dann bis 1778 das Schloss Les Ormes umbauen. Im Ehrenhof dieser weitläufigen Residenz ließ er eine Marmorstatue von Ludwig XV. aufstellen, die von Jean-Baptiste Pigalle stammt, sowie sieben Kanonen und eine englische Haubitze, die Ludwig XV. ihm nach der Schlacht von Fontenoy geschenkt hatte.
Paulmy gehört zu den bedeutendsten französischen Bibliophilen des 18. Jahrhunderts. Seine Bibliothek in Paris stellt heute den größten Teil der Bibliothèque de l’Arsenal, einer Zweigbibliothek der Französischen Nationalbibliothek dar. Sein Bestand an Veröffentlichungen aus dem deutschen Raum wurde durch die Straßburger Verlagsbuchhandlung Bauer, Treuttel & Würtz geliefert.[9]
Pauline (* 15. Mai 1767; †6. Juni 1791); ⚠28. Mai 1784 Guy Marie Anne Louis de Montmorency Laval, Marquis de Laval (* 25. August 1767; †8. Februar 1786) (Stammliste der Montmorency)
Anne Leclair, Les plafonds peints de l’hôtel d’Argenson: commande d’un amateur parisien (1767–1773), in: Gazette des Beaux-Arts, November 2002, S. 273–306
Nicole de Blomac, Voyer d’Argenson et le cheval des Lumières, Paris, 2004.
Philippe Cachau, Jacques Hardouin-Mansart de Sagonne, dernier des Mansart, Thesis in Kunstgeschichte, Juni 2004, Band 1 (Famille Voyer d’Argenson) und 2 (Château d’Asnières).
Philippe Cachau, Julien-David Le Roy (1724–1803). Correspondance avec le marquis de Voyer (1766–1777), in: Journal des Savants, Nr. 1, 2020, S. 207–304
↑Annika Haß: Europäischer Buchmarkt und Gelehrtenrepublik: Die transnationale Verlagsbuchhandlung Treuttel & Würtz, 1750–1850. Heidelberg University Publishing, 2023, ISBN 978-3-96822-073-4, doi:10.17885/heiup.817 (uni-heidelberg.de [abgerufen am 2. Juli 2024]).