Serdülő korában két évig tanították zeneelméletre, különben maga szerezte széles körű zenei tudását. Jogi tanulmányainak folytatása helyett 1852-ben templomi karnagy lett. 1856-ban a Bécsi Férfidalegyesület választotta karmesterének, 1858-ban a Zenekedvelők Egyesülete vele alakíttatta meg vegyes énekkarát és 1859-ben a hangversenyek igazgatásával bízta meg. Ezeket magas színvonalra emelte. Tehetsége magára vonta az intéző körök figyelmét, melyek őt 1870-ben az udvari opera igazgatójává nevezték ki. 1875-ben nyugdíjazva, ismét a Zenekedvelők karnagya lett. Sok népszerű karéneket szerzett. Életrajzát fia, Ludwig Herbeck írta meg 1885-ben.