Il general manager dei San Antonio Spurs R.C. Buford assunse Brown come un membro del dipartimento di basketball operations per la stagione 1998-1999. Nel 2002, dopo un breve periodo con i Sydney Kings, ritornò agli Spurs, questa volta però come director of player development. Fu promosso a vice allenatore nel settembre del 2007, lavorando sotto Gregg Popovich. Popovich chiamò Brown "uno dei suoi migliori amici", e Brown in seguito userà molti degli schemi di Popovich nel suo sistema offensivo.
Philadelphia 76ers
Durante l'off-season del 2013, a Brown fu offerta la posizione di primo assistente nello staff di Gregg Popovich succedendo a Mike Budenholzer, ma nell'Agosto del 2013, scelse invece di diventare l'allenatore dei Philadelphia 76ers. Ha ereditato una squadra "nel mezzo di una ricostruzione" condotta dal general manager Sam Hinkie, e i Sixers furono capaci di attirare Brown a Philadelphia offrendogli un contratto garantito di quattro anni. La sua nomina lo rese il ventiquattresimo allenatore della storia della franchigia, e la seconda persona ad essere stato allenatore sia nell'NBA e nell'NBL, dopo Mike Dunlap. I Sixers erano la squadra più giovane del campionato durante il primo anno di Brown, e uno dei più giovani di tutti i tempi. Durante la stagione 2013-2014, i Sixers persero 26 partite di fila, pareggiando il record per la striscia di sconfitte più lunga della storia dell'NBA. Il point guard dei Sixers Michael Carter-Williams vinse il premio di NBA Rookie of the Year nel 2014, e ringraziò Brown per averlo aiutato a vincere il premio e a crescere come giocatore.
L'11 dicembre del 2015, Brown rinnovò il contratto con i 76ers. Il 31 maggio 2018 rinnovò di nuovo con i 76ers dopo la loro prima presenza nei play-off dal 2012. Il 7 giugno 2018 fu nominato general manager ad interim dopo le dimissioni di Bryan Colangelo per uno scandalo, dove criticò dei membri della squadra.