Inicialmente os mortos da comunidade judaica de Jöhlingen foram sepultados no Cemitério Judaico de Obergrombach. Em 1888 foi então foi construído um cemitério próprio para a comunidade, localizado próximo à ferrovia na estrada para Wössingen, Walzbachtal.
O cemitério ocupa uma área de 12,47 ares, sendo ainda preservadas 46 matzevas. O último sepultamento ocorreu em 1936.
Joachim Hahn e Jürgen Krüger: Synagogen in Baden-Württemberg. Volume 2: Joachim Hahn: Orte und Einrichtungen. Theiss, Stuttgart 2007, ISBN 978-3-8062-1843-5 (Gedenkbuch der Synagogen in Deutschland. Volume 4), p. 501−503