Spårnätet är resultatet av sammanslagningar av flera olika järnvägslinjer som tidigare ägdes av olika järnvägsföretag.
År 1887 öppnades den första smalspårlinjen i Harz mellan Gernrode och Mägdesprung. Den drevs av Gernrode-Harzgeroder Eisenbahn AG (GHE). Under de följande åren förlängdes banan och nätet utvidgades. Till GHE:s linjenät hörde även linjen mellan Gernrode, Harzgerode, Hasselfelde och Eisfelder Talmühle. Eftersom linjen på en lång sträcka följer floden Selkes sträckning kom banan att få tillnamnen "Anhaltische Harzbahn" och "Selketalbahn".
Såväl GHE som NWE förstatligades den 1 april 1949 och blev då en del av östtyska Deutsche Reichsbahn.
Harzer Schmalspurbahnen GmbH övertog driften från Deutsche Reichsbahn 1 februari 1993. År 2006 förlängdes bandelen Selketalbahn med ett ombyggt avsnitt från Gernrode till Quedlinburg som tidigare var en del av en normalspårig järnväg där trafiken hade upphört år 2004.