De moderne olympiske lekers far, Pierre de Coubertin, hadde ideen til panafrikanske leker allerede i 1920. Kolonimaktene som hadde kolonisert Afrika i denne perioden var skeptisk til denne ideen, fordi de var redde for at det samlende aspektet ved sport ville bidra til at afrikanske land ville kreve sin uavhengighet. Det ble gjort forsøk på å arrangere slike leker i Alger i Algerie i 1925 og i Alexandria i Egypt i 1928, men til tross for en betydelig innsats fra arrangørene ble det ikke noe av lekene. IOKs første afrikanske medlem, den greskfødte egyptiskesprinteren Angelo Bolanaki, donerte penger til å bygge et stadion, men det skulle likevel ta tre årtier før lekene var i gang.[4]
Tidlig i 1960-årene organiserte fransktalende afrikanske land Vennskapslekene (Friendship Games). Lekene ble avholdt på Madagaskar i 1960, deretter Elfenbenskysten i 1961. De tredje lekene skulle avholdes i Senegal i 1963, men før disse lekene var ferdig planlagt møttes de afrikanske Ungdoms- og sportsministerne i Paris i 1962. Lekene ble der gitt det nye navnet Panafrikanske leker (Pan African Games) og ble offisielt anerkjent av IOK som likeverdig med andre kontinentale leker, som Asialekene og de Panamerikanske leker. I juli 1965 ble de første lekene arrangert i Brazzaville i Kongo. Omtrent 2 500 utøvere fra 30 land deltok. Den forente arabiske republikk (Egypt og Syria) ble mestvinnende nasjon.[5]
I 1966 ble SCSA (Supreme Council of Sport in Africa) dannet i Bamako og denne organisasjonen sto som ansvarlig for panafrikanske leker frem til 2013.[6] De andre lekene ble tildelt Mali i 1969, men et militærkupp gjorde at lekene måtte kanselleres. Lagos i Nigeria overtok som arrangør i 1971, og de ble endelig arrangert i 1973 etter Biafrakrigen. I 1977 ble de tredje lekene planlagt å arrangeres i Algerie, men av tekniske årsaker ble de utsatt et år, og ble arrangert i 1978. Også senere leker ble utsatt; de fjerde lekene skulle arrangeres i Kenya i 1983, men ble først utsatt til 1985, og ble til slutt arrangert i Nairobi i 1987. I januar 2012 ble det besluttet at lekene skulle hete Afrikalekene (African Games).[7]
Siden 1987 har Afrikalekene fulgt en fireårssyklus, på samme måte som de olympiske leker.