Ellberg teki debyyttinsä säveltäjänä jousikvartetolla (Es-duuri) vuonna 1890. Hän sai vuonna 1894 Valtion säveltäjästipendin vuoteen 1896 saakka. Ellbergin 1890-luvun sävellyksistä eniten suosiota saavutti sinfonia (D-duuri, 1896). Vuonna 1909 Berwald-säätiö tilasi Ellbergiltä teoksen Sinfonie capricieuse viimeistellyn version Franz Berwaldin keskeneräisten luonnosten pohjalta. Ellbergin viimeistelemä sinfonia kantaesitettiin vuonna 1914. Ellbergin oopperaRassa sai toisen palkinnon Oopperan säveltäjäkilpailussa vuonna 1947. Teos jäi kuitenkin esittämättä. Ellbergin tuotannon joukossa on balettien, sinfonisten teosten, oopperan ja jousikvarteton lisäksi kaksi jousikvintettoa, lauluja, pianoteoksia ja kuoromusiikkia.[1]