Гершбах народився 18 червня 1932 року в каліфорнійському місті Сан-Хосе. З дитинства захоплювався спортом, завдяки якому отримав стипендію для навчання в Стенфордському університеті. У 1954 році він отримав ступінь бакалавра з математики, а в 1955 — ступінь магістра хімічних наук. Після цього вступив до Гарвардський університет, де отримав у 1956 році ступінь магістра фізичних наук, а в 1958 — ступінь доктора з хімічної фізики. У 1963 році став професором хімії Гарвардського університету.
Ще студентом Гершбах займався молекулярними пучками — потоками молекул, що перетинають вакуумну камеру, в якій реєструється зміна енергії, що дозволяло з більшою точністю слідкувати за індивідуальними молекулами в процесі їх взаємодії. У 1967 Хершбах спільно з Лі Яном розробили метод пересічних молекулярних пучків, при якому спочатку виміряні кількості становлять собою трансляційні і кутові розподілу. У 1986 році він отримав Нобелівську премію з хімії «за внесок в розвиток досліджень динаміки елементарних хімічних процесів».