Josef Neruda va aprendre els fonaments de tocar l'orgue al monestir de Rajhrad. En la seva joventut, fou mestre assistent a Náměšť nad Oslavou, a més d'això va tocar a la capella de Haugwitz i va ensenyar piano a Olomouc. En 1832, va acceptar una oferta per convertir-se en l'organista principal de Brno. Va mantenir aquest càrrec durant trenta-sis anys.
Família
Josef Neruda va tenir deu fills amb molt de talent. Per exemple, la seva filla Amálie Neruda (de casada Wickenhauser, 1834–1890) fou una talentosa pianista, i un dels seus estudiants fou Leoš Janáček. Wilma Neruda fou una destacada violinista, i un grup dels seus partidaris, incloent el Príncep de Gal·les, més tard rei Eduard VII, donaren un palau a Asolo, prop de Venècia. El seu fill, Franz Xaver Neruda, fou un gran violoncel·lista i més tard esdevindria professor als conservatoris de Sant Petersburg i Copenhaguen.
