Essent com era un gran ciclista, el major problema amb què es va enfrontar va ser que es va topar amb dos dels millors corredors de la història: Jacques Anquetil i Eddy Merckx.
Carrera professional
L'època Anquetil
La rivalitat d'Anquetil i Poulidor és una de les mítiques de la història del ciclisme. Mentre el primer era bon contrarellotgista, el segon era bon escalador, de manera que cadascun jugava les seves cartes en l'especialitat en què era superior a l'altre. L'estil de Poulidor era d'atacar, agressiu, mentre Anquetil preferia distanciar-se dels rivals a la contra rellotge i després gestionar la diferència.
L'enfrontament entre ambdós era tal que la part nord de França recolzava Anquetil, mentre el Migdia francès preferia Poulidor. Així i tot, ambdós van acabar essent amics arran del càncer que afectà mortalment Anquetil. Raymond Poulidor recordà el que li digué Anquetil en el llit de mort, cap a l'any 1987: "Em va dir que el càncer era tan desesperantment dolorós com estar pujant el Puy de Dôme cada dia, a cada hora. Aleshores digué, mai ho oblidaré, "Amic meu, seràs segon un altre cop"".
L'època Merckx
Amb la retirada d'Anquetil, Poulidor va tenir l'opció de guanyar el Tour de França, però tant l'any 1967 com el 1968 no pogué participar-hi en estar lesionat. Aleshores, irrompí Eddy Merckx, que guanyà les edicions del 1969 al 1972 ininterrompudament.
Retirada
Després d'una llarga carrera professional, es retirà l'any 1977, als 41 anys.
Palmarès
Entre el 1960 i el 1977 va aconseguir 189 victòries, essent les més importants: