Brown studerade vid Augusta Academy (numera Washington and Lee University) och College of New Jersey (numera Princeton University). Han deltog i amerikanska revolutionskriget och fortsatte sedan studierna vid The College of William & Mary. Han arbetade som lärare och senare som advokat. Han var ledamot av kontinentala kongressen 1787–1788. Han valdes sedan till den första amerikanska kongressen och omvaldes till den andra kongressen. Han representerade Virginia i representanthuset 1789–1792. Kentucky blev 1792 delstat och Brown valdes i juni 1792 till senator. Han omvaldes den 11 december 1792 till en sexårig mandatperiod. Han kandiderade 1799 en gång till och vann valet. Han var tillförordnad talman i senaten (president pro tempore of the United States Senate) 1802–1803. Han efterträddes 1805 som senator av Buckner Thruston.
