Philipp von Bismarck var annen sønn av Gottfried von Bismarck (1881–1928), herre til Jarchlin og Kniephof. Etter farens tidlige død ble han i 1939 adoptert av sin grandonkel Bernhard von Bismarck og dennes kone Käthe, født von Arnim. Han tjenestegjorde som løytnant og bataljonsadjunkt i infanteriregiment nr. 9 under andre verdenskrig. Samtidig var han stedfortredende sekretær for den bismarckske familieforening.
Han var medlem av det tyske parlamentet for CDU mellom 1969 og 1979. Mellom 1970 og 1983 var han dessuten formann for CDUs næringspolitiske råd. I 1979 ble han innvalgt i Europaparlamentet.