Після закінчення школи в 2004 році вступив до Університету Флориди, основною спеціальністю вибрав телекомунікації. В університетській баскетбольній команді «Флорида Гаторс» з середини першого сезону застовпив за собою місце в стартовій п'ятірці, його партнерами по команді були майбутні гравці НБА: Джоакім Ноа, Тауріан Грін і Корі Брюер. У дебютному сезоні Горфорд допоміг команді стати чемпіоном Південно-східної конференції. У наступні два сезони «Гаторс» двічі вигравали чемпіонат NCAA з Горфордом як основним центровим.
У 2007 році Ел і його партнери по чемпіонського складу, Ноа, Грін, Брюер, вирішили не залишатися в університеті на останній рік навчання і оголосили про своє бажання виступати в НБА. На драфті Горфорд був обраний під третім номером клубом «Атланта Гокс». Він відразу ж став гравцем основного складу і провів дебютний сезон на хорошому рівні — 77 матчів у стартовій п'ятірці 10.1 очок і 9.7 підборів в середньому за гру, чотири рази визнавався найкращим новачком місяця і фінішував другим в опитуванні на звання новачка року, поступившись Кевіну Дюранту, одноголосно був включений в першу збірну новачків. У плей-офф «Атланта» у впертій боротьбі поступилася майбутнім чемпіонам «Бостон Селтікс» (3-4), Горфорд добре проявив себе в серії: 12.6 очок, 10.4 підборів і 1 блок-шот в середньому за гру.