Кількість і якість античних знахідок в Арлоні й околицях дає змогу вважати його найдавнішим містом на території Бельгії (хоча за документами найдавніше — Тонгерен). Римські терми продовжували використовуватися арлонцями навіть у середньовіччі, коли містом правили графи й маркграфилімбурзького дому. Титул маркграфа мав і Річард Левине Серце, який виступив з Арлонського замку в хрестовий похід.
У XVI–XVIII ст. Арлон знаходився в центрі воєн французів з іспанцями, які зрівняли з землею його колись багату архітектурну спадщину. Особливо сильної шкоди завдали місту війська Франсуа де Гіза в 1558 році. Запекла боротьба йшла за Арлон, укріплений Вобаном, і під час Революційних воєн.