Staden grundades för över 2000 år sedan av veneter, en västkeltisk stam. Vannes hette då Darioritum. Veneterna besegrades av Julius Caesar 54 f.Kr. i samband med att Caesar invaderade England.
På 200-talet uppfördes murar som omgärdade fem hektar av stadens yta.
Staden gynnades av sin hamn och det fördelaktiga läget vid havet. På 500-talet blev den biskopssäte och på 1100-talet uppfördes en katedral, Cathédrale Saint-Pierre.
På 1300-talet utvidgades de[förtydliga] av Johan IV, hertig av Bretagne till skydd under Bretonska tronföljdskriget.
Hamnen skyddades också av murar och torn med bröstvärn och stupgluggar.
1419 dog Vicente Ferrer som ligger begravd i katedralen och är stadens skyddshelgon.