Weyler fit sa carrière politique en Rhénanie-du-Nord-Westphalie, où il fut ministre avec les portefeuilles de la Reconstruction (1954-1956), des Finances (1956-1958) et de l’Intérieur (1962-1975), et vice-ministre-président. Au sein du FDP, dont il fut vice-président fédéral, il appartenait à l’aile centriste des « jeunes Turcs » qui rapprochèrent le parti de la social-démocratie.
Il fut également président de la Fédération du sport de Rhénanie-du-Nord-Westphalie de 1972 à sa mort et président de la Fédération du sport allemand (DSB) de 1974 à 1986.