Al Marj var fra det 7. århundrede f.Kr. under græsk kontrol, og under arabisk kontrol fra ca. 642 e.Kr. Den nuværende by Al Marj voksede omkring et tyrkisk fort fra 1842. Italienerne udviklede byen videre (1913-41) til et administrativt center og et handelsområde. Byen blev ramt af et jordskælv i 1963.
I nord grænser Al Marj mod Middelhavet, og kommunen grænser også mod tre andre kommuner.