O primeiro cemitério judaico na cidade de Karlsruhe foi estabelecido em 1723 na atual Mendelssohnplatz, ampliado em 1756 e em 1794, e fechado em 1821.
Em 1898 foi expropriado, a fim de ceder lugar à ampliação da Kriegsstraße. Os restos mortais foram trasladados para o atual Alter Friedhof Karlsruhe.
Alter Friedhof, 2012
Alter Friedhof
Em 1823 foi instalado um cemitério no lado oeste da Kriegsstraße. Seu muro era fronteiro ao muro do então cemitério municipal. Foi fechado em 1896.
Em 1898 os sepultados no desapropriado primeiro cemitério foram trasladados para este cemitério, e suas pedras sepulcrais cravadas no muro. Apenas algumas foram trasladadas, dentre estas a de Nathanael Weil. Até a década de 1930 houve ainda alguns sepultamentos em sepulturas de família.
