Es va formar com a pintor a diverses ciutats, entre elles Bruges, Gant i Anvers, però la que més li va marcar va ser Roma, on va estar entre 1845 i 1846, freqüentant als natzarens, un corrent artístic nascut el 1806 a Viena. Va tenir l'oportunitat d'estudiar a fons la pintura italiana. El 1846, vidu de la seva primera esposa, Elisabeth Bromley, va tornar a Anglaterra. Anys després va conèixer a Rossetti, set anys més jove que ell, qui li va presentar a Millais i a Hunt.
Brown es va dedicar sobretot a la pintura històrica i de tema bíblic. El seu caràcter tímid i solitari es va accentuar a causa de certes tragèdies familiars i nombroses defuncions d'índole personal. Aquests incidents, sumats al seu interès pels problemes de l'època (la desigualtat social, la industrialització, l'emigració) van produir una obra intensa amb temes que canviaven mentre que l'estil sempre era el mateix.
Adéu a Anglaterra, una de les obres més conegudes del pintor.
El 1865 va organitzar una mostra personal a Piccadilly on va rebre crítiques bones i dolentes per igual: algunes persones lloaven la seva gran perícia tècnica, el seu ús de la llum i els seus temes, però uns altres van rebutjar el seu estil de composició i la seva excessiva vena melodramàtica. No obstant això, va aconseguir diversos encàrrecs de particulars, i entre ells el més important va ser la seva participació en els frescos del municipi de Manchester, representant la història de la ciutat, una obra que li va portar pràcticament 10 anys de la seva vida.
Un dels seus quadres més famosos és Adéu a Anglaterra ("The Last of England"), retrat d'una parella d'immigrants a bord d'un vaixell que els allunyarà d'Anglaterra per sempre. Es va inspirar en la partida de l'escultor prerafaelista Thomas Woolner, qui va emigrar a Austràlia. Destaquen també Treball ("Work", 1852–1865), i el cicle de dotze pintures sobre la història de Manchester, a l'ajuntament de la ciutat. Les seves obres es caracteritzen pel seu ric colorit, cuidada estètica i minuciositat en els detalls d'abillaments i escenaris.
El seu fill Oliver Madox Brown (1855–1874) va mostrar grans dots com a pintor i poeta, però va morir prematurament. El seu net va ser el famós novel·lista Ford Madox Ford.
