John Wesley Powell ble født i delstaten New York til foreldrene Joseph og Mary Powell. Han flyttet senere med familien vestover i landet. Faren var en fattig omreisende predikant som hadde innvandret fra Shrewsbury i England. I ung alder bodde John således i Jackson i Ohio, så Walworth County i Wisconsin til de slo seg ned i det landlige Boone County i Illinois. Han foretok da ferder på Ohiofloden og Mississippifloden og ble meget interessert i naturen.
I 1867 og 1868 ledet han en geologisk ekspedisjon inn i Colorado og Utah. Det følgende år, med regjeringens støtte, undersøkte og foretok han en geologisk undersøkelse av Green Rivers og Colorado Rivers canyoner. Mellom 1870 og 1879 fortsatte han undersøkelsen av Rocky Mountains-regionen. Powell oppdaget blant annet den store grotten Redwall Cavern ved Coloradofloden. En del større avhandlinger som han publiserte om disse undersøkelser bidro til å gjøre hans navn kjent.
Under sine reiser studerte han indianere og i 1879 ble han utnevnt til den første direktør av US Bureau of Ethnology ved Smithsonian Institution. Powell ble den andre direktøren i US Geological Survey (1881–1894) og la fram forslag til retningslinjer for utviklingen av det tørre Vesten, etter de nøyaktige evalueringene han hadde gjort av forholdene der.
I 1891 utgav han den første komplette kart av 58 språkgrupper av indianere i USA og Canada.
Mange deler av det område han utforsket var det også han som navngav, som Dirty Devil, Glen Canyon, Bright Angel, Desolation Canyon, Marble Canyon, Flaming Gorge og Lava Falls. I USA minner flere veier, plasser og fjell om ham, et museum står ved Green River og så er det fremfor alt den store kunstige sjøen Lake Powell, som er et godt besøkt fritidsområde i Utah og Arizona. Derutover er også Mount Powell i Antarktis blitt oppkalt etter ham.