이후 이탈리아의 수도 로마에서 열린 1960년 하계 올림픽 마라톤에서 맨발로 뛰는 투혼으로 2시간 15분 16.2초의 세계 최고 기록으로 우승을 차지하며 에티오피아의 영웅이 된 것은 물론 아프리카흑인 최초의 금메달리스트로 이름을 알렸으며 이를 통해 '맨발의 황제', '맨발의 마라토너'로 불리게 되었다.
그리고 1964년 하계 올림픽 6주 전에는 충수(맹장) 제거 수술을 받아 훈련을 단축시켜야 했으나 이번에는 운동화를 신고 마라톤에 참가하여 다시 2시간 12분 11.2초의 세계 최고기록을 세우며 최초로 올림픽 2연패를 달성했으나 개최국 일본측이 아베베가 우승할 가능성이 없다고 보고 에티오피아 국가(國歌)를 준비하지 않아 기미가요가 울려퍼지는 희대의 해프닝이 벌어지기도 했으며 1964년 하계 올림픽을 마친 이후 중위로 진급되었다.
그로부터 2년 뒤인 1966년 10월 대한민국에서 열린 9.28 서울 수복 기념 국제 마라톤 대회에 출전했는데 그 당시 컨디션 난조였던 상황에도 불구하고 2시간 17분 4초의 기록으로 우승을 차지했으며 이 대회에 참가한 이유에 대해 아베베는 "6.25 전쟁에 참전했을 때 대한민국 국민에 대해 좋은 기억을 가지고 있었다"라고 밝히며 한국과의 의리를 지켰으나 이 대회는 아베베가 42.195km를 완주한 마지막 대회로 남게 되었다.
1968년 하계 올림픽 마라톤 경기에서는 높은 고도와 부상, 나이를 이기지 못하고 17km 지점에서 기권했고 1969년에는 아디스아바바 근처에서 교통 사고를 당해 하반신이 마비된 악조건 속에서도 장애인양궁 선수로 장애인 대회에서 메달을 목에 걸면서 장애에 굴하지 않는 모습을 보여주었지만 교통사고 후유증으로 인한 뇌출혈로 1973년 향년 41세를 일기로 생애를 마감했으며 장례식은 에티오피아 국장으로 치러졌다.