Charlotte-Angélique Courtin, veuve de Pierre Roque de Varengeville, ambassadeur du Roi à Venise, et fille d'Honoré Courtin, conseiller d'État, fait construire l'hôtel en 1704 par Maurice II Gabriel, cousin de Jacques V Gabriel auquel il est souvent attribué, sur un terrain compris entre la rue de Grenelle et la rue Saint-Dominique.
L'hôtel ne comporte alors qu'un étage sur rez de chaussée, les deux travées centrales côté jardin étant surmontées par un fronton triangulaire. Côté cour, l'hôtel présente une façade plus étroite, une partie de la largeur du terrain étant occupée par une aile de dépendances en retour et une cour des écuries. La conception de cet hôtel est fortement critiqué par Jacques-François Blondel mais il l'a représenté dans Architecture françoise, tome 1, p. 241.
La fille cadette de la commanditaire, Jeanne-Angélique Roque de Varengeville, mariée en 1702 avec le maréchal de Villars, hérite de la demeure à la mort de sa mère, en 1732. Devenue veuve à son tour en 1734, elle la vend en 1736 à Marie-Marguerite d'Allègre, comtesse de Rupelmonde, qui y vit jusqu'à sa mort en 1752[1].
Le comte de Guerchy achète alors l'hôtel et le concède un temps au ménage que forme sa fille avec le comte d'Haussonville. C'est à cette époque qu'est ajoutée la rotonde, au centre de la façade sur le jardin. La comtesse de Guerchy possède aussi l’hôtel de Gournay ; l'unité des deux hôtels voisins sera recréée au XXe siècle lors de la création de la Maison de l'Amérique latine. L'ensemble est alors loué à Charles-Daniel de Talleyrand-Périgord, père de Talleyrand.
Après la Révolution, la séparation entre les deux propriétés est rétablie et l'hôtel de Varengeville est acheté par la famille de Gontaut-Biron qui le revend près d'un siècle plus tard, en 1884, au neurologue Jean-Martin Charcot.
Le portail d'entrée et une grande partie des dépendances de l'hôtel sont détruits en 1876, lors du percement du boulevard Saint-Germain, qui ampute la cour d'honneur des deux tiers de sa surface. L'hôtel subit aussi l'adjonction d'un étage supplémentaire.
Après la mort de Charcot, ses héritiers vendent l’hôtel à la Banque de l'Algérie. Après l’indépendance du département, en 1962, le site est dévolu à la Caisse des retraités de la Banque de France, qui en est aujourd'hui le propriétaire.
L'hôtel est loué depuis 1946 à la Maison de l’Amérique latine, qui y organise des expositions culturelles et le sous-loue régulièrement pour des événements privés[2].
Les boiseries
D'après l'étude scientifique du Metropolitan Museum of Art, c'est certainement Marie-Marguerite d'Allègre qui passa commande de boiseries de style rocaille pour habiller les salons de l'hôtel au sculpteur ornemaniste Nicolas Pineau à la fin de la première moitié du XVIIIe siècle[1]. Elles y restèrent jusqu'à l'ample campagne de travaux entreprise par Jean-Martin Charcot à la suite de la mutilation due au percement du boulevard. Les boiseries furent alors achetées par Frédéric Pillet-Will qui les installe dans l'hôtel Pillet-Will à sa construction en 1887. En 1963, le Japon achète ce dernier hôtel pour y loger son ambassadeur en France et détruit le bâtiment qui abritait les panneaux[2]. Le collectionneur américain Charles Bierer Wrightsman(en) s'en porte acquéreur pour les offrir au Metropolitan Museum of Art de New-York où ils sont visibles depuis lors[1],[3].
Jacques-François Blondel, « Chapitre XIV. Description de la Maison de Madame de Varangeville, rue S. Dominique. », dans Architecture françoise, t. 1, Chez Charles-Antoine Jombert, (lire en ligne), p. 241-242, 3 planches
Société d'histoire et d'archéologie du VIIe arrondissement de Paris, Le faubourg Saint-Germain, La rue Saint-Dominique : hôtels et amateurs, Délégation à l'action artistique de la Ville de Paris, 223 p., 1984, (ISBN9782905118004).
Alice Cronier, « L'hôtel de Varengeville (Paris) au temps de la comtesse de Rupelmond (1736-1752) », Bulletin monumental, t. 181, no 1, , p. 49-62 (ISBN978-2-36919-200-8)