Klaus fou escolaritzat a Klagenfurt (la capital de Caríntia), i quan es graduà ingressà a la Universitat de Viena on cursà la carrera de dret. Després de graduar-se treballà com a secretari del president d'un sindicat.
L'any 1936 es casà amb la seva dona Erna, ella morí l'1 de gener de 2001, pocs mesos abans que ell.
Amb l'inici de la Segona Guerra Mundial els nazis (que controlaven Àustria) no l'enviaren a la guerra, sinó que es va quedar com a membre de bufets d'advocats servint al règim nazi, tot i això, poc abans d'acabar la guerra, fou capturat pels estatunidencs, però que l'alliberaren el mateix 1945.
Després de la dimissió del canceller Julius Raab l'11 d'abril de 1961 es va encarregar la formació de govern al President del Partit Popular Alfons Gorbach. Aquest nomenà a Klaus com a Ministre de Finances, ja que Klaus gaudia de bona popularitat al partit, perquè representava la cara reformista del partit. Substituí a Eduard Heilingsetzer.
L'etapa de Klaus al Ministeri Federal de Finances va estar marcada per la creació d'un pla d'austeritat per a totes les empreses austríaques i per les discrepàncies amb el canceller Alfons Gorbach. Aquestes males relacions conduïren a una crisi de lideratge del canceller i una crisi de govern, ja que les discrepàncies es generalitzaren amb els socis socialdemòcrates del govern.
Després de convocar eleccions anticipades per al 18 de novembre de 1962, en les quals el canceller Gorbach en va sortir reforçat, ja que el Partit Popular augmentà escons, tot i que finalment repetí govern amb els socialdemòcrates.
L'estabilitat del govern del canceller Gorbach va durar poc, ja que a les eleccions presidencials de l'abril de 1963 el candidat del Partit Popular sofrí una estrepitosa derrota. Tot això va provocar la tornada de les crispacions i disputes a dins del partit.
Finalment el canceller Gorbach convocà per al 20 de setembre de 1963 un congrés extraordinari del partit a Klagenfurt per tal de solucionar aquestes disputes internes. Klaus es presentà com a candidat a la presidència del partit com a alternativa a Gorbach i a la branca tradicionalista del partit. Finalment Klaus va vèncer còmodament a Gorbach i fou nomenat president del Partit Popular.
Gorbach presentà la dimissió com a Canceller el 25 de febrer de 1964 i Klaus fou el nou encarregat de formar govern, aquest optà per continuar amb els socialdemòcrates fins a les pròximes eleccions. El 2 d'abril de 1964 prengué possessió com a 21è Canceller d'Àustria amb un gabinet format per 6 ministres del Partit Popular (inclòs ell) i 6 del Partit Socialdemòcrata.
El desembre de 1964 encetà una etapa de negociacions amb Itàlia per tal d'intentar solucionar les disputes del Tirol del Sud, que finalment acabaren amb la firma d'un tractat el 20 de gener de 1972.
Sense cap dubte el fet més rellevant de la cancelleria de Klaus foren les eleccions legislatives del 6 de març de 1966, en les quals per segon cop des de 1945 un partit obtenia la majoria absoluta en unes eleccions legislatives. El Partit Popular va obtenir 2,191,109 vots, que representà el 48,35% i 85 diputats (4 més que el 1962). El Partit Socialdemòcrata es va despenjar i obtingué 1,928,985 vots (42,56%) i 74 diputats (2 menys que el 1962), finalment el Partit de la Llibertat obtingué 6 diputats (també 2 menys que als passats comicis).
Klaus formà govern en solitari amb el seu partit, que fou el primer cop en la història d'Àustria. El nou gabinet, que va prendre possessió el 19 d'abril de 1966, va incloure per primer cop una dona, en aquest cas Grete Rehor com a Ministra Federal de l'Administració Social.
Ja que comptaven amb majoria absoluta, el govern engegà reformes exhaustives com la nova llei de radiodifusió (1966), i més en general la promoció de les ciències i les arts.
El març de 1967 arribà a nous acords amb Itàlia que foren una de les vies al futur ingrés a la CEE.
El 19 de gener de 1968 Klaus realitzà el que fou el canvi més important del seu govern, ja que canvià les cares a la Vicecancelleria, al Ministeri de l'Interior, a Finances, a Comerç, Professions i Indústria, a Afers Exteriors. El mateix any tirà endavant la reforma de la legislació pressupostària, per tal d'intentar pal·liar el dèficit pressupostari que arrossegava el país des de feia una dècada. Tot i això aquesta reformà va propiciar un augment del 10% dels impostos en general.
El 2 de juny de 1969 realitzà canvis als titulars del Ministeri Federal d'Ensenyament i de la secretaria d'estat de la Cancelleria.
Klaus fou escollit pel Partit Popular per optar a la reelecció a les eleccions legislatives de l'1 de març de 1970. Durant la campanya fou retolat com l'Echter Österreicher (L'austríac autèntic). Aquesta campanya indignà a molta gent, ja que feia clara al·lusió al candidat socialdemòcrataBruno Kreisky, que era d'origen jueu. Aquest últim apostà per una modernització profunda del país i va saber connectar millor amb l'electorat que el mateix Klaus.
Finalment els resultats foren desastrosos per al Partit Popular de Klaus, ja que a més a més de perdre la majoria absoluta, també perderen les eleccions, i per primer cop des de 1945 el Partit Socialdemòcrata els superà fins i tot en escons; aquests van obtenir 2,221,981 vots, 48,4% i 81 diputats (7 més que el 1966). Els populars de Klaus descendiren fins als 2,051,012 vots, que representà un 44,7%, i 78 diputats (7 menys que els passats comicis). Finalment el Partit de la Llibertat va obtenir 253,425 vots, 5,5% i 6 diputats (els mateixos que les anteriors eleccions).
L'única opció que va tenir Klaus era d'entrar com a vicecanceller en un govern presidit per Kreisky, però aquest després de poc més d'un mes de negociacions va decidir de crear un govern socialdemòcrata en minoria amb el suport parlamentari del Partit de la Llibertat.
Després de la derrota i la pèrdua del govern, Klaus dimití de President del Partit Popular, i convocà un congrés extraordinari del partit, i el 21 de maig de 1970 fou succeït per Hermann Withalm.
Després de la seva retirada fou igualment criticat sobretot pel lema d'al·lusió antisemita a les eleccions de 1970.
El setembre de 1971 publicà el seu llibre Macht und Ohnmacht in Österreich (Poder i Impotència a Àustria). Durant els anys següents, Klaus continuà assistint a debats, conferències i seminaris.
Després de la seva jubliació Klaus va passar bona part del temps a Itàlia. El 1995 ell i la seva dona es van establir a una residència de la tercera edat a Viena.