Herberger jugó entre 1921 y 1925 para la selección alemana de fútbol antes de ser nombrado en 1932 asistente del entonces entrenador de la selección alemana de fútbol Dr. Otto Nerz. Herberger lo sucedió en la selección como entrenador de la selección alemana de fútbol después de la eliminación prematura de los Juegos Olímpicos de Berlín 1936. Después de la Segunda Guerra Mundial dirigió al club de fútbol Eintracht Fráncfort.