У дорослому футболі дебютував 1997 року виступами за команду «Лаваль», в якій провів вітора сезони, взявши участь лише у 5 матчах чемпіонату.
В лютому 1999 року французький наставник «Ліверпуля»Жерар Ульє за 500 тисяч фунтів викупив трансфер Джимі, і Траоре перейшов в його команду. У мерсісайдській команді Джимі не став гравцем основного складу і сезон 2001/02 років провів в оренді в «Лансі». Після повернення до «Ліверпуля» Траоре став основнтим гравцем команди у сезоні 2002/03 «скориставшись» травмою швейцарського захисника Стефана Аншо.
Проте вже в наступному сезоні 2003/04 Траоре втратив місце в основі та виступав в основному за резервну команду, і в 2004 році ледь не перейшов у стан сусідів і найлютіших ворогів «Ліверпуля» з «Евертона», проте все ж вирішив залишитися. При новому наставнику «Ліверпуля» Рафаелі Бенитесі Джимі знову повернувся в основний склад команди. Тим не менш, він неодноразово піддавався критиці за поганий вибір позиції і помилки. Так, наприклад, у матчі третього раунду Кубку Англії 2004/05 років у матчі проти «Бернлі» Траоре повторив «фінт Зідана» у власному штрафному майданчику і вніс м'яч у ворота «Ліверпуля»[1]. Цей гол так і залишився єдиним у матчі, завдяки чому його команда поступилася більш скромному супернику і покинула турнір[2].
Однак Траоре залишався регулярним гравцем першого складу і взяв участь у фінальному матчі Ліги чемпіонів проти «Мілана». Перший тайм йому не вдався — саме Траоре порушив правила на першій хвилині гри, в результаті чого «Мілан» отримав право на штрафний удар, з якого Паоло Мальдіні відкрив рахунок[3][4]. Однак у другому таймі Траоре став діяти значно впевненіше, зокрема, виніс м'яч з лінії воріт після удару Андрія Шевченка[5] . Підсумком матчу стала перемога «Ліверпуля» в серії пенальті, а Траоре став першим малійським футболістом, який виграв Ліги Чемпіонів УЄФА.
У сезоні 2005/06 років Траоре був витісненим зі складу Йоном-Арне Ріїсе і Стівеном Ворноком, а тому влітку вирішив покинути клуб і 8 серпня2006 року за два мільйони фунтів перейшов в «Чарльтон Атлетік»[6]. Дебют в новій команді Джимі не вдався — у матчі проти «Вест Гем Юнайтед» він отримав дві жовті картки і був вилучений. Це стало п'ятим за вісім років видаленням гравця «Чарльтона» в першому ж матчі сезону. Незабаром Джимі отримав травму, яка ще більше погіршила його становище в клубі. Після півроку в команді Джимі отримав від Алана Пардью дозвіл шукати собі новий клуб[7]. Він вибрав «Портсмут», з яким підписав контракт на два з половиною роки. Джимі зіграв за «Портсмут» в 10 матчах сезону, але в наступному році з'явився на полі лише тричі, а тому в січні 2008 року він перейшов на правах оренди за французький «Ренн».
Повернувшись влітку 2008 року у «Портсмут», Джимі взагалі не провів закоманду жодного матчу і 10 лютого 2009 року приєднався також на правах оренди до «Бірмінгем Сіті», що виступав у Чемпіоншіпі[8]. Незабаром Траоре отримав травму підколінного сухожилля[9], через що дебютував за клуб лише у квітні[10]. Всього виходив на поле за команду лише у трьох матчах чемпіонату.
18 червня2009 року Траоре підписав дворічний контракт з «Монако»[11][12], де став основним гравцем команди, взявши в тому числі участь у фіналі Кубка Франції 2010, де монегаски поступились «Парі Сен-Жермену». 18 грудня2010 року у захисника стався розрив передньої хрестоподібної зв'язки в коліні під час матчу. Ця травма вивела його з гри ні шість місяців, аж до моменту закінчення контракту з «Монако» влітку того ж року[13].
18 серпня2011 року Траоре на правах вільного агента підписав однорічний контракт з «Марселем»[14]. В новій команді Джимі здебільшого залишався на лавці запасних, в тому числі і в фіналі Кубка ліги 2012 року, який марсельський клуб виграв[15], через що покинув клуб в кінці сезону[16].
У 1995—1997 роках виступав за юнацькі збірні Франції, проте надалі до лав французької команди не залучався.
2004 року прийняв пропозицію від своєї етнічної батьківщини і дебютував в офіційних матчах у складі національної збірної Малі. Протягом кар'єри у національній команді, яка тривала усього 3 роки, провів у формі головної команди країни 6 матчів, забивши 1 гол.