Zuvor war er Cheftrainer der Kentucky Colonels in der ABA, die er 1975 zu ihrer ersten und einzigen Meisterschaft führte. Nachdem er die Grizzlies 2004 überraschend zu einer 50-32 Saison geführt hatte, wurde er als Trainer des Jahres ausgezeichnet. Der damals 70-Jährige ist damit der älteste Gewinner dieser Auszeichnung.
Zu Beginn der Saison 2004/05 trat Brown aus gesundheitlichen Gründen als Trainer der Grizzlies zurück und beendete seine Karriere. Seine Gesamtbilanz als NBA-Head-Coach beträgt 424 Siege zu 495 Niederlagen.[2]