En 1951, un an après le mémorandum de Konrad Adenauer sur le réarmement de la RFA, Gustav Heinemann, ancien membre de la CDU et de l'Église confessante sous le nazisme, fonde l'Association pour la paix en Europe (Notgemeinschaft für den Frieden Europas), qui aspire à la neutralité de l'Allemagne. L'association tenta alors de sensibiliser l'opinion et les autorités à son combat, mais arriva finalement à la conclusion que la forme la plus appropriée pour la poursuite de celui-ci était celle d'un parti politique. Une assemblée fondatrice fut donc réunie le à Francfort-sur-le-Main.
Organisation
Au moment de sa création, l'assemblée fondatrice, constituée de cent quarante délégués, a élu une présidence de quatre membres, sans président, et un comité directeur composé de vingt-huit personnes. Malgré cela, Gustav Heinemann a toujours été considéré comme le chef du GVP.
Lors des élections législatives fédérales de 1953, le GVP ne recueille que 1,3 % des voix, n'envoyant aucun député au Bundestag. Il obtient en 1956 78 sièges aux élections municipales en Rhénanie-du-Nord-Westphalie. Cette encourageante poussée n'est toutefois qu'éphémère, puisque le parti ne remporte que 1,6 % des voix lors des élections organisées dans le Bade-Wurtemberg cette même année.