1927–1933 között a jobboldali Keresztényszociális Párt(Christlichsoziale Partei), 1933–1934 között az olasz fasizmushoz közeledő, de az osztrák függetlenséget megőrizni kívánó Hazafias Arcvonal(Vaterländische Front) parlamenti képviselője volt. Ezzel párhuzamosan a keresztényszociális politikához igazodó, önkéntes alapon szerveződő fegyveres alakulat, a Heimwehralsó-ausztriai tartományi vezetőjeként is tevékenykedett. 1938. február–márciusban az utolsó, Kurt Schuschnigg vezette kabinetben a kereskedelmi és közlekedési miniszteri tisztet töltötte be.
A második világháborút követően, 1945-ben egyik alapító tagja volt az Osztrák Néppártnak(Österreichische Volkspartei, ÖVP), amelynek színeiben parlamenti képviselő is lett. 1945. április 27. és december 20. között a Karl Renner vezette ideiglenes kormány építésügyi és újjáépítési tárcáját vezette. 1952-ben az ÖVP elnökévé választották, s 1953. április 2-án a néppárti–szociáldemokrata koalíciós kormány szövetségi kancellárja lett. Nyolcéves kormányfői tevékenysége során Ausztria számottevő gazdasági fejlődésen ment keresztül. Raab és Leopold Figl külügyminiszter (korábbi kancellár) közös diplomáciai erőfeszítéseket téve elérték, hogy a második világháború győztes nagyhatalmaival folytatott tárgyalások eredményeként 1955. május 15-én megkössék az osztrák államszerződést(Österreichischer Staatsvertrag). Ennek értelmében felszámolták Ausztria négyhatalmi (brit–amerikai–francia–szovjet) megszállását és visszaállították az ország 1938. január 1-jei, azaz az Anschlusst megelőző határokon belüli teljes szuverenitását.
1961. április 11-én Raab átadta a kancellári hivatalt Alfons Gorbachnak, s parlamenti mandátumától is megvált. 1945-től 1963-ig az ÖVP gazdasági szervezeteként számon tartott Osztrák Gazdasági Szövetség(Österreichischer Wirtschaftsbund), valamint 1946-tól 1953-ig az Osztrák Gazdasági Kamara(Wirtschaftskammer Österreich) elnöki tisztét is betöltötte.
