V roce 1857 se oženil s Marií Löwy (1822–1892), ovdovělou Pollakovou, která měla z předchozího manželství dvě děti. Marie se angažovala za práva žen.[2]
Jako člen městské rady ve Vídni se Kompert angažoval ve vzdělávání a také jako člen rady židovské obce při podpoře náboženské výuky. Aktivně se účastnil i vídeňské Israelitische Allianz. Dále věnoval značnou pozornost vzdělávání sirotků a podílel se na založení sirotčince barona Todesca.
Kompert zahájil svou literární činnost v Bratislavě u Pressburger Zeitung. V letech 1848 až 1852 byl redaktorem Österreichischer Lloyd. Jako tvůrce ghettové literatury byl nazýván Auerbachem ghetta.
Jeho příběhy zachycující běžný život a zvyky z prostředí českých Židů se staly klasickými a byly napodobovány.
Kompertův první příběh, Der Schnorrer, se objevil v roce 1846 v Sonntagsblattu, č. 7 Ludwiga Augusta Frankla. Poté následovaly další:
Geschichten aus dem Ghetto, Lipsko, 1848;
Böhmische Juden, Vídeň, 1851;
Am Pfluge, Berlín, 1855;
Neue Geschichten aus dem Ghetto, Praha, 1860;
Geschichten einer Gasse, Berlín, 1865;
Zwischen Ruinen, ib. 1873;
Franzi und Heini, eine Wiener Geschichte, ib. 1880;