Von Koeber wurde in Russland als Sohn eines deutschbaltischen Arztes und einer russischen Mutter geboren. Er studierte von 1867 bis 1872 am Moskauer Konservatorium Musik[1] und an den Universitäten Jena und Heidelberg, wo er 1880 zum Dr. phil. promoviert wurde.
Auf Anregung seines Lehrers Eduard von Hartmann ging von Koeber nach Japan. Ab 1893 unterrichtete er Philosophie, Griechisch, Latein und Deutsch an der Philosophischen Fakultät der kaiserlichen Universität Tōkyō, wo er 1914 pensioniert wurde. Sein berühmtester Student war der Schriftsteller Natsume Soseki.
Er unterrichtete von 1898 bis 1909 auch an der Musikschule Tokio, die heute zur Tokyo National University of Fine Arts and Music gehört. Angeblich schrieb er 1901 die Musik für die Eröffnung der Nihon Joshi Daigaku. 1903 begleitete er die erste europäische Oper, die in Japan aufgeführt wurde, auf dem Klavier.
Wegen des Kriegsausbruchs 1914 konnte von Koeber nicht wie geplant nach Russland zurückkehren und blieb im Hause des russischen Generalkonsuls Arthur C. Wilm in Yokohama. 1923 starb er in Yokohama. Sein Grab liegt auf dem Friedhof Zōshigaya in Tokio, sein Grabmal gilt als Kulturgut.
Von Koebers Tante war die deutschbaltische Genre- und Porträtmalerin Helene von Franken.
