Ammesso al Collegio degli Avvocati di New York nel 1855, Brown praticò diritto privato a New York fino al 1881, quando fu nominato giudice della Corte Distrettuale degli Stati Uniti per il Distretto Meridionale di New York.
Brown ricevette la nomina da James A. Garfield il 2 giugno 1881 per ricoprire un posto lasciato vacante da W.G. Choate.
Egli fu formalmente nominato il 12 ottobre 1881 e fu confermato dal Senato degli Stati Uniti il 14 ottobre, insediandosi lo stesso giorno.
Le sue opinioni giudiziali, in numero pari a circa 1800, per lo più relative alle leggi marinare, all'ammiragliato, all'estradizione e alla bancarotta, sono incluse nei Volumi da 8 a 115 del The Federal Reporter.
Brown lasciò anche un lascito per la pubblicazione annuale di una rivista botanica, in seguito denominata Addisonia, esclusivamente dedicata alle piante degli Stati Uniti e dei suoi possedimenti territoriali, alle fioriture nel New York Botanical Garden o nelle sue conservatorie[1].