Unger studierte an verschiedenen Talmudschulen und an der Universität Berlin Philosophie und orientalische Philologie. 1858 wurde er in Halle mit einer Arbeit über mittelalterliche jüdische Poesie promoviert.
Im Jahr 1860 wurde er erster Rabbiner der jüdischen Gemeinde in Jihlava (deutsch Iglau), wo 1863 die Synagoge eingeweiht wurde. Dort war er bis zu seinem Tod tätig.
Werke (Auswahl)
Hebräische Philologie und Biblische Exegese. In: Mannheimer-Album, Wien 1864