Conrad war der Sohn von Wilhelm Bogislaff von Kleist und wurde auf dem elterlichen Gut unterrichtet. Er bestand die Maturitätsprüfung am Joachimsthaler Gymnasium in Berlin und studierte dort Rechtswissenschaften. Mehrere Jahre lebte er auf Groß-Autz und Sirmeln in Kurland, die er 1858 geerbt hatte. Als Voraussetzung hierfür musste er ein russischer Graf werden. 1861 heiratete er Elisabeth, geb. Gräfin von Medem, mit der er einen Sohn und drei Töchter hatte u. a.:
Wilhelm (1862–1907) ⚭ 1903 Erica Pockrandt (1878–1920)
Elisabeth (* 1863) ⚭ 1884 Hermann von Kleist († 1913)
Anton Bettelheim (Hrsg.): Biographisches Jahrbuch und deutscher Nekrolog. Band, 19, Reimer, Berlin
Bernhard Mann: Biographisches Handbuch für das preußische Abgeordnetenhaus (1867–1918). Droste, Düsseldorf 1988, ISBN 3-7700-5146-7 (= Handbücher zur Geschichte des Parlamentarismus und der Politischen Parteien, Band 3)
↑Mann, Bernhard (Bearb.): Biographisches Handbuch für das Preußische Abgeordnetenhaus. 1867-1918. Mitarbeit von Martin Doerry, Cornelia Rauh und Thomas Kühne. Düsseldorf : Droste Verlag, 1988, S. 216 (Handbücher zur Geschichte des Parlamentarismus und der politischen Parteien : Bd. 3); zu den Wahlergebnissen siehe Thomas Kühne: Handbuch der Wahlen zum Preußischen Abgeordnetenhaus 1867–1918. Wahlergebnisse, Wahlbündnisse und Wahlkandidaten (= Handbücher zur Geschichte des Parlamentarismus und der politischen Parteien. Band 6). Droste, Düsseldorf 1994, ISBN 3-7700-5182-3, S. 258–259.
↑E. David (Hrsg.): Handbuch für das Preußische Herrenhaus. Berlin 1911, S. 243 (Online).
Mitglieder des Preußischen Herrenhauses für den Landschaftsbezirk Herzogtum Kassuben