Apparteneva alla nobile famiglia von Kardorff, del Meclemburgo, e suo padre era il politico Wilhelm von Kardorff. Siegfried studiò all'Università di Berlino economia e commercio e filosofia, e si schierò molto presto contro il nazionalismo e il militarismo. Entrato nel Parlamento tedesco come deputato liberale, sostenne una politica anti-guerra, ma fu piuttosto deluso dalle imposizioni degli Alleati al Trattato di Versailles, e ripiegò sul Partito Conservatore degli junker.
