Народився 2 квітня1999 року в місті Каляат-Сенан. Почав грати у футбол у клубі «Брон Террайон», за який раніше виступав Карім Бензема. Потім грав за «Брон Гран Ліон», а з 2010 року виступав у молодіжній академії клубу «Ліон»[2]. Пройшовши молодіжну систему, Рафія грав за резервну команду «Ліона» в чемпіонаті Франції серед аматорів, четвертому дивізіоні французького футболу. За чотири сезони він забив п'ять голів у 26 іграх.
16 липня 2019 року Рафія приєднався до «Ювентуса», уклавши трирічний контракт, і став виступати за резервну команду «Ювентус U-23» в Серії С. За першу команду єдиний матч провів 13 січня 2021 року, вийшовши на заміну замість Маноло Портанови на 77-й хвилині в матчі Кубка Італії проти «Дженоа» і забивши гол на 104-й хвилині, який допоміг «Ювентусу» перемогти з рахунком 3:2 після додаткового часу і вийти до чвертьфіналу[3]. Надалі у цьому турнірі Хамза більше не грав, а туринці здали переможцями Кубка.
На початку сезону 2021/22 він був відданий в оренду бельгійського «Стандарда» (Льєж) на першу половину сезону[4], де він дебютував на найвищому рівні. У другій половині сезону був відданий в оренду до кінця сезону «Кремонезе» з Серії В[5], якому допоміг посісти 2 місце і вийти у вищий дивізіон.
Повернувшись до «Ювентуса», він знову став виступати у другій команді в Серії С, яка була перейменована на «Ювентус Некст Джен», де провів ще пів року, а 27 січня 2023 року, після 14 матчів і двох голів у першій половині чемпіонату, він залишив команду і перейшов у «Пескару», яка також грала у Серії C, з якою він підписав контракт до 30 червня 2025 року[6]. Через два дні він дебютував у чемпіонаті за «біло-синіх» в домашньому матчі проти «Фоджі» (0:4)[7].
18 липня 2023 року Рафія підписав трирічний контракт із клубом Серії А «Лечче»[8]. Він дебютував у вищому дивізіоні під час матчу проти «Лаціо» (2:1) 20 серпня 2023 року[9]. Через сім днів він забив свій перший гол у Серії А в матчі проти «Фіорентини» (2:2)[10].