Brown wuchs in Jackson (Mississippi) auf; frühe Idole waren die Bluesgitarristen B. B. King and T-Bone Walker. Er zog dann nach Los Angeles, wo er seit Ende der 1950er Jahre vorwiegend als Sessionmusiker arbeitete und u. a. an Aufnahmen von Bobby Darin, Bill Cosby, aber auch bei T-Bone Walkers Album Funky Town mitwirkte. Ende 1960 ging er mit der Formation The Olympics auf Tournee; dann spielte er zwei Jahre in der Begleitband der Sängerin Etta James; später spielte er auch in der Band von Oliver Nelson (Live from Los Angeles, 1967), Jimmy McGriff (The Starting Five, 1986) oder mit dem West Coast-Bassisten Leroy Vinnegar (Walking the Basses, 1992). Außerdem spielte er in verschiedenen lokalen Blues-Bands.
Brown arbeitete 1983 in einer Bluesband in Austin, Texas in der Hausband in dem Club Antone’s; später begleitete er Musiker wie Buddy Guy, Stevie Ray Vaughan und Clifton Chenier. 1986 wurde er Mitglied von Albert Collins’ Band the Icebreakers und wirkte an dessen Album Cold Snap mit; danach arbeitete er weiter im Club Antone’s in Austin.
Anfang 1990 zog Brown nach Kitchener, Ontario in Kanada, wo er eine eigene Band gründete, The Homewreckers. Es entstand das Album Neck Bones & Caviar (1999). Im Jahr darauf wurde er dafür mit dem Prix Big Bill Broonzy und dem W.C. Handy Award ausgezeichnet. 2001 und 2002 erhielt er den Juno Award. 2006 nahm Brown sein letztes Album auf (Blues: A Beautiful Thing). 2007 erhielt er den Living Blues Award als bester Gitarrist. Im April 2008 stand er ein letztes Mal auf der Bühne; er trat mit Buddy Guy im Kitchener Ontario. Brown starb im März 2009 an Emphysem-Komplikationen.
Brown vereinte in seinem Stil Elemente des Soul, Funk und Jazz zu einer zeitgenössischen Blues-Spielweise.
