Ciclista completo, anche se non molto vincente, ha vissuto spesso nell'ombra del più forte fratello Marc, che ha seguito in ogni suo spostamento di squadra. Ha ottenuto comunque, al di là delle vittorie personali, numerosi buoni piazzamenti, soprattutto nelle brevi corse a tappe e nelle prove in linea del panorama francese. Il suo miglior piazzamento in una delle classiche monumento fu il quarto posto nella Liegi-Bastogne-Liegi 1987, conclusasi con una volata ristretta a cinque che comprendeva Moreno Argentin (vincitore), Stephen Roche, Claude Criquielion e Robert Millar, mentre nelle prove di Coppa del mondo di ciclismo su strada colse un secondo posto al Grand Prix des Amériques 1989.
Per quanto concerne i Grandi giri, ha preso parte a nove edizioni del Tour de France, concludendolo in sei occasioni e ottenendo come miglior piazzamento il decimo posto nel 1986, e a tre edizioni, tutte terminate, della Vuelta a España, miglior piazzamento ottavo nel 1987. In entrambe le corse, pur andandoci vicino, non riuscì però mai a conquistare dei successi di tappa personali. Molto adatto alla Freccia Vallone chiuse la corsa due volte al quinto posto, 1985 e 1987, e una al settimo 1988. Fra gli altri piazzamenti, nelle corse in linea fu settimo alla Bordeaux-Parigi 1986, alla Gand-Wevelgem 1987 e al Grand Prix de Ouest-France 1990, quarto nel Grand Prix de Fourmies e terzo nel Giro dell'Emilia sempre del 1990. Mentre per quelle a tappe colse l'ottavo posto alla Parigi-Nizza 1986, il quarto al Grand Prix du Midi Libre del 1988 e il nono al Giro del Delfinato dello stesso anno.
Sia Yvon che Marc Madiot sono stati campioni francesi sia di ciclismo su strada che di ciclocross, vincendo il titolo francese su strada in successione, prima Yvon nel 1986 e poi Marc nel 1987.