Er war zunächst verheiratet mit Auguste Charlotte Gräfin von Schönberg, verwitwete von Lynar (1777–1863). Persönliche und politische Differenzen (der Graf war ein entschiedener Gegner Napoleons) führten bereits im Jahr 1809 zur Trennung und vier Jahre später schließlich zur Scheidung. Die gemeinsame Tochter Natalie (1803–1883) konvertierte zur katholischen Kirche und trat im Jahr 1841 in den Orden der Englischen Fräulein ein. Der Sohn Alfred (1804–1862) heiratete Luise Zimmermann (1818–1887), die Tochter des Bergrates Zimmermann aus Eisleben.
In zweiter Ehe heiratete er im Jahr 1818 Davide von Hedemann (1787–1878), eine Tochter des hannoverschen Generals Hartwig Johann Christoph von Hedemann. Dieser Ehe entstammten zwei Söhne und drei Töchter:
Adolf (1819–1873), ⚭ 8. Oktober 1856 Mathilde Charlotte Auguste Caroline von Bothmer (1832–1919)
Helene (* 1821)
Julie (1822–1881), ⚭ Karl Ernst August Friedrich Graf von Kielmansegg (1816–1899), ihr Cousin, ab 1866 Herr auf Gut Seestermühe
Ferdinande (* 1825)
Eugen (1830–1868), ⚭ Karoline Gräfin Arz von und zu Arzio-Vasegg (* 1832)
Bernhard von Poten: Die Generale der Königlich Hannoverschen Armee und ihrer Stammtruppen. Beiheft zum Militär-Wochenblatt. Mittler & Sohn, Berlin 1903, S. 299–300.
Wilhelm Rothert: Kielmansegg, Ferdinand Graf von. In: Allgemeine Hannoversche Biografie. Band 2: Im Alten Königreich Hannover 1814–1866. Sponholtz, Hannover 1914, S. 548.