Efter att ha varit i smedlära i Frederiksværk började Holten 1837 på Polyteknisk læreanstalt, där han 1841 blev kandidat (mekaniker). Något senare blev han assistent hos Hans Christian Ørsted, assisterade denne vid fysikaliska försök och höll även föreläsningar i Selskabet til Naturlærens Udbredelse. År 1846 fick han Videnskabernes Selskabs silvermedalj för en avhandling om ebb och flod vid Bandholm, och 1847 blev han konstituerad som docent i matematik vid polytekniska anstalten. För att kunna anställas vid Köpenhamns universitet tog han 1849 en "konferens", varigenom han blev student, och samma år blev han e.o. docent i fysik vid universitetet. Från 1852 var han ordinarie professor. 1853 blev han även lärare vid militära högskolan och 1857 lärare i fysik vid polytekniska anstalten. Samtidigt blev han medlem av anstaltens styrelse, och 1872–83 var han dess direktör.
Holten blev mycket uppskattad som föredragshållare i Industriforeningen och Arbejderforeningen af 1860. År 1879 blev han sistnämnda förenings ordförande. Hans litterära verksamhet var begränsad; olika avhandlingar av honom, främst om meteorologiska och klimatologiska ämnen, finns i "Videnskabernas Selskabs Skrifter". Han skrev två böcker, nämligen Lysets Naturlære (1861), som kan betraktas som hans huvudarbete, och den på sin tid mycket lästa Læren om Naturens almindelige Love (1857, åttonde upplagan 1884). Dessutom ombesörjde och förbättrade han de senare upplagorna av Ørsteds Naturlærens mekaniske Del.
