Jim Rogers augo Demopolyje (Alabama). Būdamas 5 metų amžiaus, jis įsitraukė į verslą, pardavinėdamas kaimynystėje žemės riešutus.
Baigęs koledžą Alabamoje, studijavo Jeilyje bei Oksforde (universitetuose).
Baigęs Oksfordo u. atliko karinę tarnybą; po to jis grįžo į Wall Street firmą Dominick and Dominick, kur jau kartą dirbo jau po koledžo baigimo. Firmoje Arnold S. Bleichroeder jis susipažino su George Soros ir įkūrė Quantum Fund.
1980 Rogers pasitraukė iš Fonds valdybos ir nuo to laiko valdo tik savo turtą bei rašo knygas.