Après avoir été élu au Bundestag en 1965, il est nommé ministre de l'Éducation de la Rhénanie-Palatinat dans la coalition noire-jaune de Peter Altmeier en 1967, puis reconduit par Helmut Kohl quand celui-ci devient ministre-président en 1969. En 1971, il est élu député au Landtag, puis président de la CDU régionale en 1974, avant d'être investi deux ans plus tard ministre-président en remplacement de Kohl. Il remporte les élections régionales de 1979, 1983 et 1987, mais il se voit contraint de s'allier avec les libéraux du FDP à l'issue de ce dernier scrutin. Il démissionne en 1988 après avoir perdu l'élection pour la présidence régionale de son parti.
Il retrouve le pouvoir en 1992, mais comme ministre-président de Thuringe, l'un des six Länder issus de l'Allemagne de l'Est. Avec son élection, il devient le premier, et actuellement le seul, homme politique allemand à avoir gouverné deux Länder distincts. À la suite des élections de 1994, il est contraint de former une grande coalition avec le SPD, qui prend fin à l'issue de son mandat de cinq ans, la CDU ayant remporté la majorité absolue au Landtag lors des élections de 1999. En 2003, il met un terme à sa carrière politique.
Cette même année 1960, il travaille comme assistant de recherche à l'Institut des sciences politiques de l'université de Heidelberg. Il devient maître de conférences au sein de la même institution l'année suivante, et travaille également dans la formation des adultes.
Devenu président du parti dans cette région deux ans plus tard, il renonce à son mandat parlementaire lorsqu'il est nommé ministre de l'Éducation de Rhénanie-Palatinat le , par Peter Altmeier. Il renonce alors à sa carrière professionnelle. Il prend la présidence de la CDU dans le district de Hesse rhénane-Palatinat en 1969.
Reconduit au gouvernement régional par Helmut Kohl, lors de son accession au pouvoir le , il est élu au Landtag en 1971 et conserve son ministère.
Ministre-président de Rhénanie-Palatinat
En 1974, il est choisi pour remplacer Kohl à la présidence de la CDU régionale. Il renonce, l'année suivante, à ses fonctions locales et rejoint le comité directeur fédéral du parti, désormais présidé par Kohl.
Aux élections régionales du , il conserve de justesse la majorité absolue de sa formation, avec 50 % des voix et 51 députés régionaux sur 100. Lors du scrutin du , il améliore la place de la CDU au Landtag en obtenant 52 % des suffrages exprimés et 57 députés.
Devenu vice-président de l'Union démocrate européenne (UDE) en 1985, il arrive de nouveau en tête des élections régionales le , mais avec seulement 45,1 % des voix et 48 élus sur 100, il met un terme à seize ans de majorité absolue des chrétiens-démocrates dans le Land. Il s'associe cependant avec le Parti libéral-démocrate (FDP) dans une coalition noire-jaune et conserve la direction du gouvernement. Le 1er novembre suivant, il retrouve la présidence du Conseil fédéral pour une durée d'un an.
Candidat à sa propre succession à la présidence de la CDU de Rhénanie-Palatinat, il est battu par le président du groupe parlementaire, Hans-Otto Wilhelm, le . Il décide alors de renoncer à ses fonctions de ministre-président, où Carl-Ludwig Wagner le remplace le suivant.
Ministre-président de Thuringe
Bernhard Vogel, lors du congrès de la CDU de Thuringe, en 2008.
Environ quatre ans plus tard, le , il est investi ministre-président de Thuringe, l'un des Länder de l'ex-Allemagne de l'Est, à la tête d'une alliance avec le FDP. Dans le même temps, il est élu président de la fédération de la CDU dans le Land et quitte la présidence de la ZDF, dont il est désigné vice-président.
Il devient ainsi la seule personnalité politique à avoir dirigé deux gouvernements régionaux différents.
Aux élections du , la gauche est majoritaire au Landtag et le FDP en est exclu. Toutefois, Vogel parvient à se maintenir à la direction du Land en formant une grande coalition avec le Parti social-démocrate d'Allemagne (SPD). Le , il remporte 51 % des suffrages et 49 élus sur 88, soit la majorité absolue. Il est alors réinvesti pour un troisième mandat.
Retrait de la politique active
Remplacé par Dieter Althaus à la présidence du parti dans le Land en 2000, il est désigné président de la fondationKonrad Adenauer, un poste qu'il avait déjà occupé ce poste de 1989 à 1995. Il cède le pouvoir à Althaus le . L'année suivante, il devient président d'honneur de la CDU régionale, puis il quitte, en 2006, le comité directeur fédéral. En 2007, il sort du conseil de surveillance de la ZDF.
