Bien qu'il soit défait, quelques mois plus tard, par la CDU aux élections locales, il est choisi, en 1983, comme candidat à la chancellerie par le SPD contre Helmut Kohl, qui remporte largement les élections fédérales. Porté à la présidence fédérale du SPD en 1987, il se retire de la vie politique en 1991.
Il adhère, en 1950, au Parti social-démocrate d'Allemagne, et obtient, l'année suivante, son doctorat de droit. En 1952, il devient expert judiciaire (Assessor) au ministère de la Justice du Land de Bavière, puis haut fonctionnaire (Regierungsrat) en 1953. Il quitte le ministère l'année suivante, pour occuper ces mêmes fonctions auprès de la commune de Traunstein.
Il est recruté, en 1955, à la chancellerie régionale, où il travaille quatre ans.
Jeune bourgmestre de Munich
Il entre, en 1958, au conseil communal de Munich et devient directeur du service juridique.
Deux ans plus tard, il se présente à l'élection du bourgmestre, qui se tient le 27 mars. À 34 ans, il est facilement élu, avec 58,3 % des voix, contre Josef Müller, figure de l'Union chrétienne-sociale en Bavière (CSU). Candidat à un second mandat le , il s'impose avec 78 % des voix contre son deuxième adjoint et candidat de la CSU, Georg Brauchle.
Au cours de ces douze années au pouvoir dans la capitale bavaroise, il a beaucoup œuvré pour l'obtention, puis l'organisation, des Jeux olympiques d'été de 1972, dont il préside le comité organisateur.
À l'occasion de l'élection du bourgmestre du , il ne se représente pas, du fait de ses conflits avec l'aile gauche du SPD de Munich, et cède la place à Georg Kronawitter, qui l'emporte avec 56 % des suffrages.
Ministre fédéral de Brandt et Schmidt
Membre du comité directeur fédéral du SPD depuis 1970, il prend, en 1972, la présidence du parti en Bavière, tout en entrant à la présidence fédérale.
Pour les élections régionales du au Landtag de Bavière, il est désigné chef de file des sociaux-démocrates contre le ministre-présidentAlfons Goppel, de la CSU, au pouvoir depuis 1962. Le jour du scrutin, le SPD reste dans l'opposition avec 64 députés sur 204 et 30,2 % des suffrages, en recul de trois points par rapport à 1970, et en retard de trente-deux points sur le parti au pouvoir.
En 1977, il abandonne la présidence régionale du SPD.
Bourgmestre-gouverneur de Berlin
Au lendemain de sa démission du gouvernement fédéral, il est investi bourgmestre-gouverneur de Berlin-Ouest, à la tête d'une alliance avec le Parti libéral-démocrate (FDP). Il prend ainsi la succession de Dietrich Stobbe, en fonction depuis 1977, contraint à la démission après la crise interne à la coalition due au scandale financier de l'affaire Garski.
Il se présente comme chef de file du SPD aux élections législatives locales du 10 mai 1981. Avec 51 députés sur 132 et 38,3 % des voix, le parti accuse un recul de plus de quatre points, tandis que la CDU, avec 48 % des suffrages, rate de deux sièges la majorité absolue. Le 11 juin suivant, le chrétien-démocrate Richard von Weizsäcker lui succède.
Se présentant comme « l'homme du débat et du raisonnement », Hans-Jochen Vogel passe pour piètre orateur et reste peu connu en dehors de l'Allemagne de l'Ouest. Il a toutefois toute la considération d'Helmut Schmidt et de Willy Brandt[1]. Il remporte 193 députés sur 498, et 38,2 % des voix, soit un recul de cinq points, tandis que la CDU/CSU s'envole à 49 % des suffrages et 244 sièges.
Il continue de siéger au Bundestag jusqu'en 1994, puis se retire de la vie politique.
En 2006, il coécrit "Deutschland aus der VOGEL PERSPEKTIVE" avec son frère Bernhard Vogel pour retracer l'histoire de l'Allemagne selon leurs deux points de vue respectifs.
(de) Friedrich H. Hettler, Achim Sing (dir.), Die Münchner Oberbürgermeister: 200 Jahre gelebte Stadtgeschichte, Volk-Verlag, Munich, 2008 (ISBN978-3-937200-42-2) [présentation en ligne]