Η παρουσία του εβραϊκού στοιχείου στην περιοχή του Νομού Σερρών εμφανίζει μακραίωνη πορεία, με την αρχαιότερη ένδειξη να ανάγεται στην εποχή της ρωμαϊκής κυριαρχίας. Η επόμενη βεβαιωμένη μαρτυρία σημειώνεται από τον Ισπανό περιηγητή ραββίνο Βενιαμίν Μπεν Γιονά, που επισκέφθηκε την περιοχή της Ανατολικής Μακεδονίας περί το 1162. Το 1333, σύμφωνα με έγγραφα Βυζαντινών αυτοκρατόρων, υπήρχε εβραϊκή κοινότητα στη Ζίχνη, ενώ και το 1345 ο Στέφανος Δουσάν επιβεβαιώνει την ύπαρξη κοινότητας στο Κάστρο της Ζίχνης. Στην περιοχή του Κάστρου των Σερρών ζούσαν Ρωμανιώτες Εβραίοι, οι οποίοι, αμέσως μετά την πτώση της Κωνσταντινούπολης το 1453, μεταφέρθηκαν με διαταγή του Σουλτάνου Βαγιαζήτ Β΄ στην Κωνσταντινούπολη. Παρά την υποχρεωτική μετεγκατάσταση των περισσότερων μελών, μια μικρή Ρωμανιώτικη κοινότητα παρέμεινε στην κοινωνική δομή της εβραϊκής κοινότητας Σερρών. Σε αυτήν προσαρτήθηκαν αργότερα εκτοπισμένοι από την Ιβηρική χερσόνησοΣεφαρδίτες, καθώς και εβραϊκές οικογένειες από την Ιταλία και τη Σικελία, τη Βέροια, την Κέρκυρα κ.α.[1][2]
Πριν από τους Βαλκανικούς πολέμους (1912-13), στις Σέρρες υπήρχαν περίπου 1.300 Εβραίοι, αλλά μέχρι τον Οκτώβριο του 1912, ο εβραϊκός πληθυσμός είχε πέσει στους 988.[3] Με το εμπρησμό της πόλης των Σερρών το 1913, η εβραϊκή συναγωγή, όπως και ολόκληρη η πυκνοκατοικημένη συνοικία τους, καταστράφηκαν εντελώς. Το κέντρο βάρους της εβραϊκής δραστηριότητας, μεταφέρθηκε αργότερα στην συνοικία Αραμπατζίκ Μαχαλά.
Η ακριβής περίοδος ίδρυσης του εβραϊκού νεκροταφείου στις Σέρρες είναι άγνωστη, αν και πιθανότατα άρχισε να δραστηριοποιείται τον 16ο αιώνα.[3] Η παλαιότερη γνωστή αναφορά σε αυτό, ανήκει σε χειρόγραφο του 1875 της Μονής Τιμίου Προδρόμου Σερρών.[4] Το νεκροταφείο βρισκόταν στον λόφο Μουσάλα, στην περιοχή Μπαΐρ-Μαχαλά, στη σημερινή συνοικία της Καλλιθέας Σερρών. Λίγο πιο βόρεια, βρισκόταν το τουρκικό νεκροταφείο Αρναούτ Μεζαρλίκ.[5][6] Κατά τον Α΄ Παγκόσμιο Πόλεμο, τον Μάιο του 1917, το εβραϊκό νεκροταφείο βομβαρδίστηκε μαζί με τις παρακείμενες θέσεις του βουλγαρικού στρατού από τα συμμαχικά στρατεύματα των Γάλλων και των Άγγλων.[7][8][9] Συνέχισε να εξυπηρετεί τις ανάγκες της πόλης, μέχρι τον βίαιο εκτοπισμό της εβραϊκής κοινότητας από τους Βουλγάρους στις 3 προς 4 Μαρτίου 1943.
Το 1970 ο Δήμος Σερρών κατασκεύασε στη θέση του πρώην νεκροταφείου μια δεξαμενή πόσιμου ύδατος χωρητικότητας 4.000 κυβικών μέτρων. Στη δυτική πλευρά του οικοπέδου, παραπλεύρως της γωνίας των οδών Λαμψάκου και Φωτεινής Αλατά, υπάρχουν έως σήμερα τύμβοι τάφων. Ενεπίγραφες επιτύμβιες πλάκες του κατεστραμμένου νεκροταφείου, φυλάσσονται στη Συλλογή Αρχιτεκτονικών και Επιτύμβιων Γλυπτών του Εβραϊκού Μουσείου Ελλάδος.[10][11]
