La seva mare va morir quan ell tenia 4 anys, per la qual cosa va ser criat pel seu pare, Marie-Louis Breton, que treballava les terres d'un ric terratinent. A casa seva vivien també la seva àvia materna i el seu cosí Boniface Breton. El respecte per la tradició i la religió, i l'amor per la terra es van mantenir com la part central de la seva obra durant la resta de la seva vida.
La seva primera formació la va rebre al College St. Bertin, prop de Saint-Omer, ciutat propera a Courrières. El 1842 va conèixer el pintor Félix de Vigne que, impressionat pel talent del jove Breton, va convèncer la seva família perquè el deixessin estudiar art. Va anar a Gant el 1843 on va continuar amb els seus estudis a l'Academy of Fine Arts, juntament amb De Vigne i el pintor Henri van der Haert. El 1846 Breton es va traslladar a Anvers on va fer classes amb el baró Gustaf Wappers i va emprar part del seu temps a copiar els treballs dels mestres flamencs.
El 1847 es va traslladar a París per a perfeccionar la seva formació a l'École des Beaux-Arts. Allí va conèixer i va fer amistat amb diversos artistes realistes com François Bonvin i Gustave Brion, Els seus primers quadres exposats al Saló de París reflecteixen la seva influència. Els seus primers treballs tracten sobre personatges històrics, Sant Piat predicant a la Gàl·lia, o amb motiu de la Revolució francesa de 1848 com Misèria i desesperació (1849).[1]
El 1854 Breton es va traslladar de nou al seu poble natal. Allà va començar Les espigadores, una obra inspirada en el treball del camp i la dura situació dels seus treballadors que recollien el que hi quedava després de la collita. Va començar a rebre encàrrecs estatals i moltes de les seves obres van ser adquirides per l'administració que les va exposar als museus provincials.
Durant tota la dècada del 1870 Breton va continuar amb les seves exposicions i en les de 1880 i 1890 la seva fama va créixer. La seva representació poètica en un paisatge amb el sol de ponent es van fer molt populars, especialment als Estats Units d'Amèrica.[2] El 1880 Vincent van Gogh va viatjar 137 km fins a Courrières per visitar Breton, de qui era gran admirador.[3]
En 1886 Breton va ser triat membre de l'Institut de França En 1889 va ser nomenat comanador de la Legió d'Honor i el 1899 va ser elegit membre de la Royal Academy of Arts. També va escriure un llibre de poemes, Jeanne, i diversos en prosa sobre la seva vida i l'obra d'altres artistes que va conèixer personalment, entre ells Les Champs et la mer (1876), Ens peintres du siècle (1900), Delphine Bernard (1902) i La Peinture (1904).