Прохазка также удачно выступал за сборную Австрии, в составе которой принял участие на двух чемпионатах мира: 1978 и 1982. В обоих случаях Австрия пробивалась во второй групповой раунд.
Тренерская карьера
В 1989 году Прохазка закончил свою игровую карьеру, а уже через год он стал главным тренером «Аустрии», с которой он к 1992 году выиграл 2 чемпионата и 2 кубка страны. Затем Херберт работал со сборной Австрией, которую он смог вывести на чемпионат мира 1998, на котором, однако, команда не добилась успехов. В 1999 году австрийцы проиграли испанцам с разгромным счётом 0:9, после чего тренер был уволен с поста руководителя национальной команды. В 1999 году Прохазка вновь возглавил «Аустрию», но через год был снят с этой должности.