Rahman rozpoczął swoją karierę piłkarską w zespole grającym w drugiej lidze Ghany, Dreamz FC. Rok później, po dobrych występach, przeniósł się do pierwszoligowego Asante Kotoko. W 2012 roku został zawodnikiem beniaminka Bundesligi, SpVgg Greuther Fürth[1]. Po dwóch latach gry w Fürth, odszedł do Augsburga[2].
W sierpniu 2015 podpisał kontrakt z mistrzem Anglii, Chelsea[3]. 2 sierpnia 2016 roku został wypożyczony do niemieckiego klubu FC Schalke 04[1]. Natomiast 30 stycznia 2019 roku trafił do Stade de Reims[1] również na wypożyczenie.