Народившись передмісті ПарижаОбервільє, Діабі розпочав свою кар'єру в академії клубу рідного міста «Обервільє». У 12 років перейшов до головного клубу північних передмість Парижа «Ред Стар», а в 15-річному віці приєднався до академії провідного клубу міста — «Парі Сен-Жермен». Після нетривалого перебування в академії Клерфонтен2002 році перейшов до школи «Осера». У 2004 році підписав перший професійний контракт з «Осером». Дебют за «Осер» у Діабі відбувся 14 серпня2004 року в матчі проти «Ренна», вийшовши на поле у другому таймі на заміну[1]. За сезон 2004—05 Абу зіграв 7 матчів в чемпіонаті Франції, а в першій половині сезону 2005—06 зіграв ще 6 ігор.
Лише 9 січня2007 року Діабі повернувся на поле, вийшовши на заміну замість Тео Волкотта в чвертьфінальному матчі Кубка Ліги проти «Ліверпуля», який закінчився з рахунком 3:6 на користь «Арсенала»[7]. У фіналі цього турніру в Кардіффі Діабі завдав травми Джону Террі, вдаривши його в ліву щелепу. Капітан «Челсі» пролежав без свідомості кілька хвилин, а потім був госпіталізований. Проте, в той же день, Террі був виписаний без серйозних ускладнень[8].
2007—2008
В новому сезон Діабі почав часто виходити на лівому фланзі. 12 грудня2007 року Діабі забив свій перший гол у Лізі чемпіонів в матчі проти «Стяуа», який закінчився з рахунком 2:1 на користь «Арсеналу»[9]. 29 березня2008 року Абу отримав свою першу червону картку за «Арсенал» у матчі з «Болтоном»[10][11]. Згодом він пошкодив коліно і до кінця сезону майже не виступав[12].
2008—2009
Після продажу Матьє Фламіні в «Мілан», Діабі отримав можливість боротися з Денілсоном та Алексом Сонгом за його позицію як партнера Сеска Фабрегаса в центрі поля, але оскільки ще не до кінця залікував травму, змушений був пропустити початок сезону.[13] Діабі повернувся до складу лише у грі проти «Евертона», допомігши перемогти команді з рахунком 3:1. 26 грудня2008 року, забив свій перший гол у сезоні в Прем'єр-лізі у матчі з «Астон Віллою», що завершилася з рахунком 2:2.
2009—2010
Сезон 2009—2010 став для Діабі одним із найкращих. Він утвердився в основному складі команди в центрі поля і навіть став ключовим гравцем. Завдяки цьому 1 січня2010 року відбулося підписання нового довгострокового контракту з клубом[14].