Il suspend son activité professionnelle en 1987, mais la reprend quatre ans plus tard, en tant qu'avocat et notaire indépendant. Il a de nouveau cessé d'exercer depuis 1999.
Il adhère à la Junge Union, organisation de jeunesse de la CDU, et au parti en lui-même en 1972. Cette même année, il prend la présidence de la JU dans l'arrondissement de Limbourg-Weilbourg pour trois ans.
Karlheinz Weimar devient vice-président de la CDU dans la ville de Weilbourg en 1980. Deux ans plus tard, il est élu au comité directeur du parti en Hesse occidentale, puis quitte la JU en 1985. Il renonce à la vice-présidence municipale en 1987. L'année suivante, il est porté à la tête du parti dans l'arrondissement de Limbourg-Weilbourg pour dix ans.
Il a intégré le comité directeur régional de la CDU de Hesse en 1990.
À la suite de la victoire de la CDU aux régionales de 1987, il est nommé ministre de l'Environnement et de la Sécurité nucléaire dans la coalition noire-jaune du ministre-présidentWalter Wallmann. Il doit renoncer à ce poste à peine quatre ans plus tard, après l'arrivée au pouvoir d'une coalition rouge-verte. Il devient alors élu vice-président du groupe CDU au Landtag.