Normannisyntyinen De Lacyn suku alkoi rakentaa Ludlow’n linnaa ilmeisesti vuonna 1085 turvatakseen Walesin vastaisen rajan ja alistaakseen valtaansa seudun anglosaksilaisen väestön.[1][3] Linnan valmistuttua sen ympärille perustettiin ruutukaavaa noudattava kaupunki, josta on ensimmäinen kirjallinen maininta vuodelta 1138.[1] Kaupungin ja linnan ympärille alettiin pystyttää vuonna 1233 muuria, jossa oli seitsemän porttia. Yksi portti ja suurin osa muurista on säilynyt nykypäiviin saakka.[3]
Kaupunkilaiset vannoivat uskollisuutta Yorkin suvulle, jolta he saivat vastineeksi suurimman osan erioikeuksistaan – kun Edvard IV kruunattiin Englannin kuninkaaksi 1461, Ludlow’n linna siirtyi kruunun omistukseen ja Ludlow sai kaupunkioikeudet. Strategisen sijaintinsa vuoksi Ludlow oli viimeinen Shropshiren linnoituksista, joka antautui (1646) parlamentaristeilleEnglannin sisällissodassa.[1]
Ludlow oli 1700- ja 1800-luvuilla suosittu asuinpaikka, jonne kreivikunnan yläluokka rakensi elegantteja kivitaloja. Käsineiden valmistuksesta tuli merkittävä teollisuudenhaara, minkä ohella kaupungissa tuotettiin nauloja ja tekstiilejä. 1800-luvun alussa Ludlow’n väkiluku kasvoi voimakkaasti, ja rautatie saapui kaupunkiin 1853.[3]
Ludlow’ssa on useita ristikkorakenteisia ja yrjöjenaikaisia taloja. Suurikokoisessa Pyhän Laurentiuksen kirkossa on korkea keskustorni ja lasimaalauksia 1300- ja 1400-luvuilta. Sen kirkkomaahan on haudattu runoilija A. E. Housmanin tuhkat. Keskiaikainen Temejoen silta on suojeltu muinaismuistona.[1]