Xanten ble grunnlagt i romertiden og er dermed omtrent 2000 år gammel. Plassen begynte som romersk lagerplass Castrum under navnet Vetera Castra. Den utviklet seg til andre viktigste by i den romerske provinsenGermania Inferior og ble oppgradert til en colonia under keiser Trajan: Colonia Ulpia Traiana. Under et angrep av Frankere i 275 ble byen nærmest fullstendig ødelagt. En mindre festningsby under navnet Tricensimae ble bygget på samme plass. Siste romerske mynt som er funnet på stedet er fra 426.
Byen ble sannsynligvis ikke forlatt i folkevandringstiden og har hatt en viss betydning hele tiden. Bysentret ble likevel flyttet til det romerske gravfeltet der en tidlig kristen kirke befant seg. Byen ble nevnt av Gregorius av Tours i 590. Et kloster til ære for en lokal martyr og helgen, Viktor av Xanten ble kjernen av dagens by og opprinnelig kalt ad sanctos, derav Xanten. Det betydelige Viktorklosteret Viktorstift ble gjentatte ganger overfalt av normannere på 900-tallet. En biskopsborg for erkebiskopen av Köln og rikelige funn av mynter slått i Xanten fra tidlig middelalder, bekrefter stedets betydning.
I 1228 fikk Xanten byrettigheter og i 1263 startet byggingen av Xantens domkirke. Flere klostergrunnlegginger i Viktorstiftets by utover middelalderen satte sitt preg på byen så som kvinnelige Fransiskanere (1402), et Birgittakloster [1460), Jesuitter 1609 og Karteusere i 1628. Økonomisk mistet byen mye av sin betydning, også på grunn av at Rhinen forflyttet seg noe østover.
Til tross for store ødeleggelser under andre verdenskrig ble betydelige deler av det gamle Xanten gjenoppbygget. Rester av romerbyen som ligger i utkanten av Xanten har blitt rekonstruert, til dels ganske fritt.