Ceir olion yma o'r cyfnod Neolithig, ac mae cromlechSion-Petit-Chasseur (2.900-2200 CC) yn un o'r esiamplau gorau yn ardal yr Alpau. Yn y cyfnod Rhufeinig, fel Sedunum. Yn ddiweddarach, daeth yn ganolfan Esgobaeth Sion; roedd yr esgob hefyd yn dirfeddiannwr mawr ac a phwerau seciwlar.
Yng nghanol y 19g roedd Sion yn ddinas ddwyieithog, gyda tua hanner y trigolion yn siarad Ffrangeg fel mamiaith a hanner yn siarad Almaeneg, ond erbyn hyn mae'n ddinas Ffrangeg ei hiaith.