Brown commande une compagnie de tireurs d'élite lors d'une expédition contre les Indiens en 1789. Sa femme est Ann « Nancy » Hart, sœur de Lucretia Hart Clay, l'épouse de Henry Clay.
En , quelques esclaves des plantations de James Brown rejoignent la révolte de La Nouvelle-Orléans, y compris le fameux Kook, l'un des chefs de l'insurrection. Il s'agit de la plus grande révolte d'esclaves dans l'histoire des États-Unis mais elle est de courte durée et les insurgés ne tuent que deux hommes blancs. À la suite de la confrontation avec la milice et les exécutions après jugements des tribunaux, quatre-vingt-cinq Noirs sont tués. Certains de ces hommes étaient de Haïti, amenés en Louisiane espagnole plusieurs années auparavant par des réfugiés français, ainsi que des gens de couleur réfugiés
de la violence et des ravages de la révolution haïtienne. Les autres venaient d'Afrique.
Brown est élu en tant que Democratic Republican au Sénat des États-Unis le , pour combler la vacance provoquée par la démission de Jean-Noël d’Estrehan et sert du au . Brown est élu membre de l'American Antiquarian Society en 1814[3]. Il est candidat malheureux à la réélection pourtant est de nouveau élu au Sénat des États-Unis en 1819, comme Républicain Clay Adams. Il sert du jusqu'à sa démission le . Durant son mandat, Brown est président de la commission des relations extérieures (seizième Congrès).
↑"Secretary of State James Brown". Kentucky Secretary of State
↑(en) Henry Putney Beers, French and Spanish Records of Louisiana : A Bibliographical Guide to Archive and Manuscript Sources, LSU Press, , 384 p. (ISBN978-0-8071-2793-3, lire en ligne)