Enne Teist maailmasõda elas Ludzas palju juute. 1897. aastal elas linnas 2803 juuti (54% elanikkonnast), 1920. aastal 2050 (40,6%) ja 1930. aastal 1634 (30,4%).[4]
1285. aastal (kõige varasema versiooni kohaselt) olevat esimese kaitserajatise Ludzasse ehitanud rüütel Konrad von Torberg. 1399. aastasse on baltisaksa ajaloolased dateerinud Ludzasse (saksa keeles Ludzen) linnuse rajamise. 1433. aastal on kirjalikes allikates linnust esmamainitud, 1435 moodustati Liivi Ordu, Riia Peapiiskopkonna ja Saare-Lääne, Tartu ja Kuramaa Piiskopkonnast Liivimaa Konföderatsioon. Ludza oli selle idapoolseim piirilinnus pärast põhjas asuvat Narvat.
1481. tungisid Moskva suurvürstiIvan III väed Latgalesse ja osaliselt hävitasid Ludza linnuse. Sõjakäik oli vastuseks ordumeistri Berndt von der Borchi ebaõnnestunud katsele vallutada Pihkva. 1501 ja 1503 tungisid Vene väed Vana-Liivimaale ja laastasid ka Ludza piirkonda. 29. detsembri 1525 paiku, kui Moskva ja Liivi orduriigi suhted paranesid, taastati linnus ja ehitati osaliselt ümber.
1625. aastal hõivas Räisaku ja Ludza linnuse Rootsi väed. Siiski asus seal mõnda aega Rootsi vägede peakorter. Poola väed saabusid siiski peatselt tagasi ja rootsi komandant, kes ei olnud saanud abivägesid, andis vastupanuta alla. 1629. aasta septembris, pärast Poola-Rootsi sõda aastatel 1600–1629 sõlmitud Altmarki rahu, jäi piirkond (Inflanty Polskie, "Poola Liivimaa") Rzeczpospolitale, Liivimaa hertsogkonnaVõnnu vojevoodkonda.
11. juunil1938 toimus Ludzas suur tulekahju. Hävis 371 hoonet, kolmandik elanikest jäid peavarjuta.[6]
Kaitstavad objektid
Muinsusmälestistest on linnas riikliku kaitse all Ludza kiriku orel, Ludza Suur sünagoog,[7] Ludza ajalooline kesklinn, Lutsi ordulinnus, Odi mäe muinaskalmed ja Jurizdika linnamägi.[8]
Kohaliku kaitse all on Tadeuše kabel [9] ja Ludza postkontor.[10]
Looduskaitse all on Ludza pargi tamm, Ludza pargi pärn, tamm ümbermõõduga 4,75 m, pärn ümbermõõduga 3,63 meetrit, Runtorta park, Runtorta pargi tamm, Runtorta vaher ja Runtorta pappel.[11]