Tongeren er den eldste byen i Belgia. Den ble grunnlagt som romersk millitærleir, Castrum omtrent 15. f.Kr. Byen som utviklet seg av det het Atuatuca Tungrorum og var administrativt sentrum for distriktet Tungri. En romersk bymur fra det andre århundre er delvis bevart.
Tongeren var hovedete for den katolske helgenen Sankt Servatius som var byens biskop i den senromerske periode og døde sannsynligvis 384. Han flyttet bispsetet til Maastricht, 25 km lengre mot nordøst, etter at germanske stammer hadde begynt å presse på Romerrikets grenser.
Fra middelalderen er særlig byens katedrale bevart. 1 1677, under den fransk-nederlandske krigen ble byen brent ned nokså fullstendig av troppene til Ludvig XIV av Frankrike. Byen klarte ikke å reise seg etter denne katastrofen. Først etter 1830 vant byen igjen i betydning.