I antikken klarte innbyggerne i Vannes med stort hell å stå i mot den romerske invasjonen leda av Julius Cæsar, og disse innbyggerne var faktisk grunnlaget for stammen en følger i teigneserien Asterix. De var og flinke sjømenn, og hver gang de ble trua reiste de til sjøs.
Cæsar så at han måtte dominere de omliggende sjøområdene om han noen gang skulle legge dem under seg. Han allierte seg med nabostammen Namnete (som har gitt navn til byen Nantes) for å oppnå denne fordelen, og klarte å erobre byen. Under romersk styre var Vannes kjent som Darioritum.
Bispedømet Vannes ble oppretta på 400-tallet. Rådet i Vannes ble holdt her i 461. Den første historiske herskeren av Vannes var Waroch.