V roku 1909 absolvoval na Illinoiskej univerzite strojné inžinierstvo, po štúdiách založil vlastnú stavebnú spoločnosť, ktorej sa venoval do roku 1947. Bol aktívnym športovcom a v roku 1912 sa zúčastnil Olympijských hier v Štokholme, kde dosiahol 6. miesto v päťboji a 16. miesto v desaťboji.
V roku 1928 sa stal predsedom Únie amatérskych atlétov, následne v roku 1929 predsedom Olympijského výboru USA a v roku 1930 podpredsedom IAAF. Po smrti Henriho de Baillet-Latoura počas druhej svetovej vojny sa stal podpredsedom MOV a po odstúpení Sigfrida Edströma v roku 1952 sa stal predsedom organizácie. Brundage silno odmietal profesionalizáciu Olympijských hier, jeho názory sa však postupne prestali zhodovať s názormi ostatných členov MOV i celého športového sveta. Jeho postoj viedol k niekoľkým zahanbujúcim incidentom, napr. vylúčeniu rakúskeho lyžiara Karla Schrantza zo Zimnej Olympiády 1972 kvôli podozreniu z profesionalizmu.
Okrem toho sa k Brundagemu sa viaže niekoľko ďalších kontroverzií:
dal vylúčiť Tommieho Smitha a Johna Carlosa z olympijskej dediny a Olympiády v Mexiku v roku 1968 za to, že na stupni víťazov zdvihli zaťaté pravice na vyjadrenie podpory hnutiu Black Power.
v roku 1972 rozhodol o pokračovaní letnej olympiády v Mníchove po útoku palestínskej teroristickej skupiny, počas ktorého zahynulo jedenásť izraelských športovcov. 5. septembra, kedy sa útok odohral, sa nešportovalo a nasledujúci deň sa na Olympijskom štadióne konalo smútočné zhromaždenie za účasti 80 000 divákov a 3 000 športovcov. Brundage počas svojho príhovoru nespomenul zavraždených atlétov, ale vyzdvihol silu olympijského hnutia, čím mnohých pobúril.
nesúhlasil s vylúčením Rodézie (dnešné Zimbabwe) z Olympijských hier kvôli politike apartheidu.
Po olympiáde v Mníchove odstúpil z predsedníctva MOV a vo funkcii predsedu ho nahradil Lord Killanin. Venoval sa najmä zberateľstvu umeleckých predmetov z Ázie. Po smrti zanechal svoje zbierky San Franciscu. Jeho rozsiahla kolekcia sa stala základom múzea ázijského umenia v San Franciscu.
