Brown opiskeli taidetta vuosina 1837–1839 Bruggessa ja Antwerpenissa. Hänen varhaistyönsä olivat romanttisia ja dramaattisia. Hän alkoi kuitenkin pian pyrkiä mahdollisimman luonnonmukaiseen esitystyyliin, ja maalaustaan Prisoner of Chillon varten hän kävi piirtämässä ruumiita sairaalanruumishuoneella. Hän myös maalasi mielellään ulkoilmassa ateljeen sijaan.