Brooks è nato da famiglia di origine ebraica nel quartiere newyorchese di Brooklyn, figlio di Dorothy Helen (nata Sheinheit) e Edward M. Brooks. Il padre abbandonò la famiglia quando James non era neanche nato e, per questo motivo la sua infanzia non fu molto felice, anche perché la sua famiglia faceva fatica ad andare avanti. Abbandonata la scuola, cominciò a scrivere copioni e sceneggiature nel 1964 e a venderli, questi ebbero subito uno straordinario successo e nel 1969 ideò la sua prima serie tv Room 222, che ebbe uno straordinario successo e da quel momento James continuo a scrivere e dirigere serie tv e film di successo facendogli conquistare tre premi Oscar.
Nel 1983 James passò al cinema ottenendo subito molta popolarità e successo ricevendo 9 Emmy Awards (tutte le sit-com da lui create ottennero in tutto 60 Emmy Awards). Nel 1986 fonda con l'aiuto della FOX la Gracie Films, il cui nome era ispirato a Gracie Allen e il cui fine era quello di dare agli autori un mezzo per sfondare: la compagnia diventerà famosa per aver prodotto I Simpson e altre serie televisive.
Nell'ambiente, a livello personale, è conosciuto da amici e colleghi come instancabile regista, che prova anche ogni giorno una singola scena di un film che deve girare finché questa non ha raggiunto la perfezione. Molto severo ed egocentrico al lavoro, spesso ha degli sbalzi d'umore se la sua idea non va a genio agli altri colleghi. Viene descritto anche come una persona dal carattere paziente e al tempo stesso vivace.
