Han blev professionell 2003 med Brioches La Boulangère. Som amatör tävlade Sébastien Chavanel för Vendée U, som Jean-René Bernaudeau ledde. Det var när Vendée U integrerades med cykelstallet Bonjour som Brioches La Boulangère skapades. Bernaudeau blev samtidigt manager för Brioches La Boulangère, senare Bouygues Télécom, för vilka Chavanel tävlade mellan 2003 och 2006.
Hans största meriter är GP de Denain 2007 och de fem etapperna som Chavanel vunnit under Tour de l'Avenir 2003 och 2004. Chavanel har också vunnit etapper på Étoile de Bessèges, Tour de Picardie, Tour de Poitou-Charentes et de la Vienne, GP Costa Azul och Tour de la Région Wallonne.
Under säsongen 2008 vann Sébastien Chavanel Tour de Picardie. Han vann också den fjärde etappen.