У дорослому футболі дебютував 2003 року виступами за команду «Клермон», в якій провів два сезони, взявши участь у 60 матчах чемпіонату. Згодом грав за «Муленваз» і «Страсбур», з якого віддавався в оренду до бельгійського «Шарлеруа» та «Анже».
2008 року повернувся до Бельгії, уклавши контракт з «Тюбізом», після чого грав за «Локерен» та «Монс». До останнього клубу прийшов на початку 2011 року, за перші півроку в ньому відзначився 14-ма голами у 14 іграх другого бельгійського дивізіону і допоміг команді підвищитися в класі. В еліті бельгійського футболу продовжив забивати за «Монс» і в сезоні 2011/12 з 25-ма голами у 36 іграх став найкращим бомбардиром Ліги Жупіле.
По ходу наступного сезону забивного нападника запросив до своїх лав іспанський «Вільярреал». Як і в «Монсі» у перші ж півроку в новій команді Пербе допоміг їй здобути підвищення в класі. В сезоні 2013/14, який команда проводила вже у Ла-Лізі, француз також не загубився і забив 10 голів у 26 іграх, допомігши «Вільярреалу» відразу ж фінішувати у зоні єврокубків.
Попри таку результативність нападника керівництво іспанського клубу погодило влітку 2014 року його перехід за 1,5 мільйони євро до турецького клубу «Істанбул ББ». В Туреччині продемонструвати результативність нападнику не вдалося — у першому своєму сезоні там він забив лише 4 голи у 22 іграх, а перед початком другого був відданий в оренду до бельгійського «Шарлеруа».
Опинившись у знайомому йому чемпіонаті, Жеремі знову почав активно забивати і з 24-ма голами у 33 іграх першості став її найкращим бомбардиром, удруге у своїй кар'єрі.
Нагадавши таким чином про себе в Бельгії, вже влітку 2016 року він повернувся туди на умовах повноцінного контракту, перейшовши за 1 мільйон євро до «Гента». В подальшому змінив ще декілька вищолігових бельгійських команд, був гравцем «Брюгге», «Кортрейка», «Шарлеруа» та «Ауд-Геверле», утім колишньої результативності вже не демонстрував.
Влітку 2021 року на правах вільного агента 36-річний нападник приєднався до бельгійського ж третьолігового «Льєжа».
.svg){kind=small}
.svg){kind=small}
