Il obtient son Abitur en 1962, puis étudie la philologie germanique et anglaise à l'Université de Hambourg. Six ans plus tard, en 1968, il passe son premier examen d'État de professeur du secondaires, et réussit le second deux ans plus tard.
Il préside la Communauté des jeunes démocrates européennes (DEMYC) entre 1972 et 1974, et siège au comité directeur fédéral de la Junge Union pendant deux ans à partir de 1973.
En 1983, il est élu président commission de la CDU pour les Affaires étrangères et la Politique allemande. Il renonce à ce poste six ans plus tard et devient secrétaire général fédéral du parti sous la direction d'Helmut Kohl pour trois ans.
Il intègre la présidence fédérale en 1990. Huit ans plus tard, il est désigné vice-président fédéral par Wolfgang Schäuble mais n'est pas reconduit en 2000 par Angela Merkel.
Au sein des institutions
Élu au Bürgerschaft de Hambourg en 1970, il y devient vice-président du groupe CDU trois ans plus tard. En 1976, il renonce à ce mandat pour devenir député fédéral au Bundestag. Entre 1982 et 1989, il est vice-président du groupe CDU/CSU, chargé de la Politique étrangère, de sécurité, allemande et de Développement.
Le , Volker Rühe est nommé ministre fédéral de la Défense par Helmut Kohl. Il occupera ce poste jusqu'à la défaite de la coalition noire-jaune au scrutin du . Il retrouve alors sa vice-présidence du groupe CDU/CSU. Durant ses six ans de mandat ministériel, il aura notamment supervisé le déploiement de la Bundeswehr à l'étranger, sous l'égide des Nations unies, et l'intégration de l'armée fédérale dans les premiers corps d'armées internationaux, tel l'Eurocorps.
