Il fait des études au Harvard College jusqu’en 1835 et passe les trois années suivantes à l’école de médecine.
Il abandonne sa carrière de médecin après seulement quelques années pour se consacrer à l’écriture et à la politique. Plus tard, il devient l’éditeur du Boston Atlas. Il rejoint ensuite la maison d’édition Swan & Tileston, rebaptisée Brewer & Tileston en 1857 quand il devient associé.
Il est surtout célèbre pour avoir cosigné A History of North American Birds (3 volumes, 1874) avec Spencer Fullerton Baird (1823-1887) et Robert Ridgway (1850-1929). Il est aussi l’auteur d’un ouvrage sur les œufs d’Amérique du Nord, North American Oology (1857).
Il s’oppose à la destruction du moineau domestique (Passer domesticus) qui venait d’être introduit aux États-Unis d'Amérique. Il est l’auteur d’une biographie de John James Audubon (1785-1851) auquel il voue une grande admiration, la fille unique de Brewer se prénomme Lucy, prénom de la femme d’Audubon.
