A Manchester melletti Salford sörgyárosának volt a fia. Gyenge testalkata miatt 15 éves koráig otthon nevelkedett, majd magántanártól tanult. A fizikát, kémiát és a matematikátJohn Daltontól tanulta. 1838-tól, 20 éves korától, már tudományos folyóiratokban jelentek meg írásai.
1840-ben felfedezte, hogy a testeket csak egy meghatározott mértékig lehet mágnesezni. Vizsgálta az elektromos áram hőhatását és felfedezte az ezzel kapcsolatos törvényt.
Kísérletileg vizsgálta és meghatározta, hogy milyen számszerű kapcsolat van a munka és a belső energia változása között. Joule ismerte fel azt is, hogy a gáznak az edény falára gyakorolt nyomása a részecskék fallal történő ütközéséből származik. Tudományos tevékenységének elismeréseként a Királyi Tudományos Társaság tagjává választotta.
James Prescott Joule nagyon alapos volt és nagy figyelmet fordított a részletekre. Kutatásai magát a hő keletkezését érintették. Életében sok időt fordított a hő mechanikai egyenértékének meghatározására, abbéli meggyőződéséből kiindulva, hogy a hő munkából származik.
1840-ben megállapította, hogy a vezetékben az elektromos áram által termelt hő arányos a vezeték ellenállásának és az áramerősség négyzetének szorzatával, amit azóta Joule törvényeként ismerünk. Sok más, a hő és az energia más formái közötti kapcsolatról szóló beszámolói között ez volt az első, amelyről cikke a Royal Society (Királyi Tudományos Társaság) lapjában jelent meg.
1842-től 1878-ig azt vizsgálta, hogy lehetséges-e mechanikai energiát közvetlenül hőenergiává alakítani bármilyen elektromos lépés nélkül. 1850-ben bemutatott híres „lapátkerék” kísérletével megalapozta a hőmennyiség és a mechanikai munka közötti azonosság elméletét. Joule-lal két német fizikus, Hermann von Helmholtz és Julius von Mayer, 1852-től 1862-ig az angol fizikus, William Thomson (a későbbi Lord Kelvin) is együtt dolgozott a fizikai törvényszerűségek kutatásán. Az általuk felfedezett energiamegmaradás törvénye kimondja, hogy az egyik formában felszabadult energia újra megjelenik egy másikban, és sohasem vész el. Megállapította továbbá a gázok hirtelen terjeszkedésekor előforduló hűtőhatást (Joule-Kelvin effektus), amit a hűtőrendszereknél azóta is használnak.
1847-ben házasodott össze Amelia Grimesszel. Mézesheteiket az Alpokban töltötték, ahol James folytatta tudományos kísérleteit. Mindig be akarta bizonyítani, hogy amikor a víz 778 láb magasból leesik, akkor hőmérséklete 1 °C-kal emelkedik. Elérkezett az alkalom, s amikor Chamonix-ba látogatott, egy hatalmas hőmérővel felszerelkezve megkísérelte ezt bebizonyítani. Nem járt sikerrel, mivel a víz ekkora magasságból nagyon permetszerűen hullott ahhoz, hogy a kísérlet sikerüljön.
Három gyermekük volt: Benjamin Arthur (sz. 1849), Alice Amelia (sz. 1852) és még egy fiú, aki születésekor, 1854-ben feleségével együtt halt meg. Joule nem házasodott újra.
Hasonlóan a legtöbb kutatóhoz, Joule tudása nem csak azokig a dolgokig terjedt, amit ma a „kutatás” szóval hozunk kapcsolatba. Legtöbb kísérleti kutatásának eredménye a gyakorlati eszközökben, új technológiákban ma is visszaköszön. Ezt figyelembe véve mondhatjuk, hogy Joule feltaláló is volt. Sok találmánya között említhetjük az elektromos ívhegesztést és a térkiszorításos szivattyút.
Kutatásainak túlnyomó részét saját maga fedezte fel. Szerencsétlenségére 1875-ben elszegényedett, és az azt követő években folyamatosan betegeskedett egészen 1889. október 11-én Sale-ben (Chesire megye, Anglia) bekövetkezett haláláig. Tiszteletére az energia nemzetközi mértékegysége, a joule róla kapta nevét.
Emlékezete
Róla nevezték el a munka, a hőmennyiség és az energia mértékegységét.
Cardwell, D. S. L.. James Joule: A Biography. Manchester college Press (1991). ISBN 0-7190-3479-5
Forrester, J. (1975). „Chemistry and the Conservation of Energy: The Work of James Prescott Joule”. Studies in the History and Philosophy of Science6 (4), 273–313. o. DOI:10.1016/0039-3681(75)90025-4.
Fox, R, "James Prescott Joule, 1818–1889", in North, J.. Mid-nineteenth-century scientists. Elsevier, 72–103. o. (1969). ISBN 0-7190-3479-5
Reynolds, Osbourne. Memoir of James Prescott Joule. Manchester Literary and Philosophical Society (1892). Hozzáférés ideje: 2014. március 5.
(1889) „Dr. Joule”. Electrical Engineer, London (18 October), 311–312. o, Kiadó: Biggs & Co. (Hozzáférés: 2008. május 16.)- obituary with brief comment on Joule's family