Son mariage, en 1756, avec une jeune fille de 19 ans à peine (il en a 50) est malheureux. Lorsqu'il l'embarque avec lui pour Saint-Domingue, dont il vient d'être nommé gouverneur, elle le trompe sous ses yeux pendant la traversée et débarque sur l'île en qualité de maîtresse attitré d'un autre officier — à peine moins âgé que lui — le prince de Bauffremont-Listenois. Il sera contraint, quelques années plus tard, en 1768, à un humiliant désaveu de paternité.