Né à Graz[1], Neuhold a fréquenté l' Université de Musique et des Arts de Spectacles de Graz et a obtenu une maîtrise en 1968. Il étudie ensuite la direction d'orchestre avec Franco Ferrara à Rome et avec Hans Swarowsky à Vienne[1]. De 1972 à 1980, il s'engage sur diverses scènes en Allemagne, notamment à Hanovre et à Dortmund, où il travaille comme premier chef d'orchestre[1]. Neuhold a remporté des prix dans de nombreux concours de direction d'orchestre (1er Prix des concours de Florence en 1972 et de San Remo en 1976, 2e Prix du concours Hans Swarowsky de Vienne en 1977, 1er Prix du Concours Karl Böhm de Salzbourg, ainsi que le 3e Prix du Concours Guido Cantelli à La Scala de Milan la même année[1].
De 1981 à 1986, Neuhold est directeur musical du Teatro Regio de Parme[2] et chef de l'Orchestre symphonique d'Arturo Toscanini[2]. De 1986 à 1990, il est chef d'orchestre et directeur musical de l'Antwerp Symphony Orchestra[2], puis directeur musical général de la Badische Staatskapelle à Karlsruhe de 1989 à 1995[2] . Par la suite, et jusqu'en 2002, il est chef de l'Orchestre philharmonique de Brême et directeur musical de l'Opéra de Brême[2]. De 2008 à 2014, il est chef d'orchestre et directeur artistique de l'Orchestre symphonique de Bilbao (BOS)[2]. En 2010, il a été reconduit pour trois ans[3]. Depuis 2022, il est directeur artistique et chef d'orchestre de l'Orchestre symphonique de Chypre[4].
Neuhold a enregistré notamment pour les labels Naxos Records, Brilliant Classics et Bella Musica. Parmi ces enregistrements, figure le second des deux seuls enregistrements existant de la version originale de 1904 de Madame Butterfly de Puccini[5].