Toulmouche föddes år 1829 i den bretonska hamnstaden Nantes. Han hade en skulptör i släkten och lärde av lokala skulptörer och målare innan han flyttade till Paris vid 17 års ålder. Där började han studera i Charles Gleyres ateljé. År 1848 var han redo att ställa ut i salong. Han klarade den turbulenta tid Frankrike var i, och blev berömd i det nya kejsardömet. På Salongen 1852 köpte kejsar Napoleon III en av hans tavlor, och året därpå gjorde kejsarinnan Eugénie detsamma.
År 1862 gifte sig Toulmouche med en av Claude Monets kusiner, och Monets far bad honom då ha tillsyn över Monets studier. Han gav Monet en plats i Gleyres ateljé. I hans senare verk kan man ana inflytande från Monets konst.