Ved slutten av 1700-tallet meldte behovet seg for en ny gravlund. Allgemeines Landrecht für die preußischen Staaten bestemte at det ikke lenger skulle gravlegges mennesker i bebodde områder i byene. Berlins eldre jødiske gravlund, Jüdischer Friedhof Berlin-Mitte, hadde opprinnelig ligget utenfor bymuren, men byens vekst hadde ført til at gravlunden senere kom til å ligge inne i byen. Gravlunden, med 6000 m² og 3000 graver, var dessuten blitt for liten.
Den jødiske menigheten fikk i 1828 kjøpe et område på 5 hektar foran Schönhauser Tor av godseieren Wilhelm Gotthold Büttner. Den nye gravlunden kunne innvies i 1829.
Gravlunden var fullt belagt i 1880 og det har siden ikke vært mulig å få nye graver der. Det ble likevel foretatt begravelser i familiegravene frem til 1970-tallet.
Nazistenes ødeleggelser og ikke minst krigshandlingene under annen verdenskrig førte til større ødeleggelser. I 1990 ble det innledet omfattende restaureringsarbeider. Ettersom det ikke var mulig å finne opprinnelig plassering for alle gravstenene, ble det oppført et lapidarium for å gi disse gravstenene en verdig plassering. Lapidariet ble ferdigstilt i 2005.
