Holst var kjent som en dyktig lærer og en god miljøskaper, han skrev også biografier, blant andre om Niels Henrik Abel. Dessuten utga han en rekke barnebøker, alene og sammen med andre, og i 1898 ga han og illustratøren Eivind Nielsen ut Norsk Dukketeater : Med tekst: Store Bukken Bruse. Dette var et sett som kom i en eske, og som barn kunne bruke til selv å spille dukketeater med.[9] Året før hadde Nielsen og Holst gitt ut boken Barneminder og andre smaastubber for barn : med mange billeder, der Holst forklarte leserne hvordan de kunne innrede en kasse til sitt eget dukketeater, gjerne med kulisser klippet ut fra utklippsark utgitt av den tyske leketøysprodusenten Gustav Cohn i byen Neu Ruppin i Mecklenburg. I kapittelet Hvordan en lager et dukketeater forteller Holst at slike utklippsark fra den samme produsenten benyttet han selv da han var barn, og at han nå har laget dukketeater med kulisser og dukker fra tilsvarende ark for sin lille sønn.[10]
Familie
Gjennom sitt ekteskap med Inger Skavlan (1852–1899) var han svoger til Olaf Skavlan og Sigvald Skavlan. Etter hennes død giftet han seg med Marie Michelet (1872–1960) og ble svoger til Simon Michelet.
Elling Holst (1882). Et par synthetiske Methoder især til Brug ved Studiet af metriske Egenskaber. Jacob Dybwads forlag. [114 sider. Avhandling til dr.philos.. Også som Forhandlinger i Videnskabs-Selskabet i Christiania, 1882, no. 11]
Elling Holst og Nils Wennech Smeby (1902). De første begyndelsesgrunde til feillæren og mindste kvadraters metode med anvendelse paa landmaalingen. Jacob Dybwads forlag. [30 sider]
Andre utgivelser
Elling Holst, Eivind Nielsen (1881). Norsk Billedbok for Børn. Christiania: Alb. Cammermeyers forlag.
Henrik Arnold Wergeland, Elling Holst, Eivind Nielsen (1893). Vinterblommer for Barnekammeret. Original og frit oversat samling for Børn. Christiania: Th Steens forlagsexpedition.CS1-vedlikehold: Flere navn: forfatterliste (link)
Elling Holst, Lars Jorde, Eivind Nielsen, Eilert Mehl, K.Uchermann (1898). Barneminder og andre smaastubber for barn. Christiania: Alb. Cammermeyers forlag.CS1-vedlikehold: Flere navn: forfatterliste (link)
Elling Holst, Eivind Nielsen (1898). Dukketeater : Med tekst: Store Bukken Bruse..
Elling Holst (1899). Fra sæteren. Emil Ellingsen & Comp. [15 sider. Billeder af Lisbeth Bergh]
Elling Holst, Eivind Nielsen (1903). Norsk Billedbok for Børn. Tredie samling. Christiania: Tvedtes forlag.