Venne nominato dal governo di Paul von Hindenburg sovraintendente dell'industria tedesca, e in quest'ambito venne a contatto con la famiglia Krupp, il cui allora capo-famiglia era il conte Gustav Krupp von Bohlen und Halbach. Von Bismarck divenne amico di diversi componenti della famiglia e fu sul punto di sposarne una delle figlie, Irmgard Sophie.
Fu deputato al parlamento di Prussia. Su invito dell'amico e cugino in secondo grado Wolf-Heinrich von Helldorf entrò nel corpo delle SS come ufficiale. Nel 1943, tramite lo stesso von Helldorf e Rüdiger von der Goltz, figlio dell'omonimo generale che aveva comandato le truppe bianche in Estonia, entrò a far parte della resistenza contro Hitler e partecipò nel 1944 al complotto del 20 luglio, nel quale, insieme a von Helldorf e von der Goltz e Arthur Nebe, avrebbe avuto il compito di comandare un gruppo di polizia fedele agli attentatori.
In seguito al fallimento del complotto von Bismarck e von Helldorf vennero arrestati pochi giorni dopo e processati davanti al Tribunale del popolo: von Helldorf venne condannato a morte, mentre von Bismarck fu detenuto nel campo di concentramento di Flossenbürg tra i prigionieri politici. Liberato dagli statunitensi al termine della guerra, morì in un ospedale militare a Verden a causa delle sofferenze riportate nel lager.
.svg){kind=small}
