Brown wurde als Demokrat in den Kongress gewählt und vertrat dort den Bundesstaat Wisconsin vom 4. März 1863 bis zum 3. März 1865 im US-Repräsentantenhaus. Nach einer erfolglosen Kandidatur für seine Wiederwahl 1864 und seinem Ausscheiden aus dem Repräsentantenhaus reiste Brown 1865 nach Europa, um seine angeschlagene Gesundheit wiederherzustellen. 1873 kehrte er in die Vereinigten Staaten zurück und begann wieder in Milwaukee zu praktizieren. Brown starb 1878 in Chicago und wurde auf dem Forest Home Cemetery in Milwaukee beigesetzt.