Розпочав тренерську кар'єру 1956 року, очоливши тренерський штаб австрійської національної збірної. Очолював збірну Австрії на чемпіонаті світу 1958 в Швеції. Його підопічні два матчі програли — Бразилії (0-3)[1] та СРСР (0-2)[2] і один звели внічию — з Англією (2-2)[3]
1971 року став головним тренером команди «Вінер Шпорт-Клуб», тренував віденську команду три роки.
Згодом протягом 1974—1974 років очолював тренерський штаб клубу «Вінер Шпорт-Клуб».
Останнім місцем тренерської роботи був клуб «Аустрія» (Відень), головним тренером команди якого Карл Аргауер був протягом 1975 року.