James Brooks wurde ungefähr eineinhalb Jahre vor dem Ausbruch des Britisch-Amerikanischen Krieges in Portland geboren. Er besuchte öffentliche Schulen und die Academy in Monmouth. Danach unterrichtete er im Alter von 16 Jahren in Lewiston an einer Schule. 1831 graduierte er am Waterville College in Maine. Er studierte Jura und gab den Portland Advertiser heraus, wobei er 1832 dessen Korrespondent in Washington war. Brooks saß 1835 im Repräsentantenhaus von Maine.
Im Jahr 1836 kandidierte er erfolglos für einen Kongresssitz. Danach zog er im selben Jahr nach New York City, wo er den New York Daily Express gründete, dessen Chefredakteur er für den Rest seines Lebens war. 1847 saß er in der New York State Assembly.
Bei den Kongresswahlen des Jahres 1848 wurde er als Whig im sechsten Wahlbezirk von New York in das US-Repräsentantenhaus in Washington, D.C. gewählt, wo er am 4. März 1849 die Nachfolge von Horace Greeley antrat. Nach einer erfolgreichen Wiederwahl erlitt er im Jahr 1852 eine Niederlage und schied nach dem 3. März 1853 aus dem Kongress aus. Danach war er wieder als Redakteur tätig.
Brooks kandidierte als Demokrat im Jahr 1862 im achten Wahlbezirk von New York für einen Kongresssitz. Nach einer erfolgreichen Wahl trat er am 4. März 1863 die Nachfolge von Isaac C. Delaplaine an. Zwei Jahre später wurde Brooks wiedergewählt, allerdings focht William E. Dodge seine Wiederwahl wegen eines Formfehlers bei der Anmeldung erfolgreich an, so dass er nach dem 7. April 1866 aus dem Kongress schied. Daraufhin kandidierte Brooks bei den folgenden Kongresswahlen erneut für denselben Sitz. Er wurde in den 40. Kongress gewählt sowie in die zwei nachfolgenden Kongresse wiedergewählt. 1872 wurde er erneut im sechsten Distrikt von New York in das US-Repräsentantenhaus gewählt. Brooks trat am 4. März 1873 die Nachfolge von Samuel S. Cox an. Er verstarb allerdings am 30. April 1873 in Washington D.C. und wurde dann auf dem Green-Wood Cemetery in Brooklyn beigesetzt. Als Kongressabgeordneter nahm er 1867 an der verfassunggebenden Versammlung von New York teil. Im Oktober desselben Jahres wurde er zum Government Director der Union Pacific Railroad ernannt. In diesem Zusammenhang erhielt er am 27. Februar 1873 vom US-Repräsentantenhaus einen Tadel für versuchte Bestechung (Crédit-Mobilier-Skandal).
