È padre di Charles-Henri Delacroix (1779-1845), generale dell'Impero, e del pittore Eugène Delacroix (1798-1863). Secondo alcuni storici, come Jean Orieux[1], Eugène Delacroix avrebbe avuto come padre biologico Talleyrand; uno dei principali argomenti a sostegno di questa tesi era che Charles-François Delacroix era affetto da un'escrescenza che gli impediva di procreare e con i mezzi dell'epoca non poteva essere curato efficacemente.