Le duc avait été premier ministre de 1723 à 1726. Son impopularité fut la cause de sa disgrâce et de celle de sa maîtresse, la marquise de Prie qui mourut peu après. Il s'était retiré en son Château de Chantilly. Veuf et sans enfant, il songeait depuis un certain temps à se remarier. Sa défunte maîtresse lui avait d'abord proposé Marie Lesczynska, princesse polonaise issue d'une famille désargentée et vivant en exil au crochet de la France, qui ne lui ferait point d'ombre. Finalement, les deux amants ambitieux trouvèrent plus avantageux de la marier au jeune roi Louis XV (1725).
Ce calcul politique fit long feu, le duc fut disgracié quelques mois plus tard ; l'intervention de la reine en faveur de celui qui avait fait sa fortune importunant le roi adolescent. La reine perdit à jamais son crédit et le duc sa position à la cour et la marquise de Prie… mourut dans la fleur de l'âge dans un château de province…
Quelques mois plus tard, le choix du duc se porta sur Caroline-Charlotte de Hesse-Rheinfels-Rotenbourg âgée de 14 ans (soit vingt-deux ans de moins que lui), sœur de la reine de Sardaigne. Cependant, d'aucuns prétendent que le duc à la laideur proverbiale, usé par la débauche, n'a pu consommer son mariage avec cette adolescente.
Néanmoins jaloux, il tient sa jeune épouse sous bonne garde excitant par là même le désir des libertins de la cour. Parmi ceux-ci, un de ses proches, grand séducteur (il a été l'amant de la sœur du duc), le comte Jean-Baptiste de Sade (1701-1767). Pour mieux s'approcher de la jeune duchesse, il épouse en 1733 la fille de sa dame d'honneur, Marie-Éléonore de Maillé (1712-1777) (parente du duc par les femmes, mais non de sang royal) et c'est à l’hôtel de Condé que naîtra le marquis de Sade en .
L'idylle du comte et de la duchesse durera, elle, jusqu'en 1739, de telle sorte que son amant, le comte de Sade est considéré comme le possible père adultérin de son fils[1]. Entre-temps, Le duc rentra en grâce en 1730 et put présenter sa femme à son royal neveu et à la cour. La jeune fille fut considérée comme jolie mais de santé fragile[2] mais ses relations avec son époux - de vingt-deux ans son aîné et dont la laideur et la bêtise étaient réputées - respectèrent la décence et la bienséance dues à leur rang, le duc s'étant sans doute assagi.
Ils vécurent à Paris au Palais Bourbon (actuelle assemblée nationale).
Le couple n'eut qu'un enfant, le prince Louis-Joseph de Condé (1736-1818). Veuve en 1740, la duchesse mourut à Paris le de l'année suivante à l'âge de 26 ans alors que son fils n'avait que cinq ans. Sa dépouille fut inhumée au couvent des Carmélites du faubourg Saint-Jacques à Paris.
D'aucuns avaient pensé - en vain - la donner pour maîtresse à Louis XV.