Nors oficialioji graikų istorija Efeso įkūrimą sieja su X a. pr. m. e., archeologiniai tyrimai rodo, kad gyvenvietė įsikūrė jau Neolito laikotarpiu, apie 6000 m. pr. m. e. Miestas klestėjo jau Bronzos amžiuje, ką rodo kasinėjimai Ajasuluko (turk.Ayasuluk) kalvoje. Ši archeologinė radimvietė tapatinama su II tūkst. pr. m. e.hetitų šaltiniuose minimu Apasos (Apasa) miestu, kuris buvo galingos Arzavos karalystės sostinė. Šiame bronzos amžiaus mieste randami Mikėnų civilizacijos reliktai. Tai rodo graikų protėvių achajų ekspansiją į Mažąją Aziją.
Graikų miestas
Efesas naujai įkurtas senosios Apasos vietoje X a. pr. m. e. Jo įkūrėjas buvo legendinis kunigaikštis iš Atėnų, Androklas, kuris išsilaipino pakrantėje ir nugalėjo vietinius karus bei lelegus. Kolonistai susimaišė su vietos gyventojais ir suformavo miestą. Androklas buvo toks galingas, kad ilgainiui sugebėjo suvienyti visus 12 Jonijos miestų į Jonijos lygą.
Iš pradžių Efesą valdė tironai, tačiau vėliau liaudis juos nuvertė ir miestą valdė taryba. Klestintis polis padovanojo graikų pasauliui daug žymių asmenybių, tarp kurių buvo poetai Kalinas ir Hiponaksas, filosofas Heraklitas, tapytojas Farnasijus ir kt.
VI a. pr. m. e. viduryje Efesą nukariavo Lydijos karalius Krezas. Jis garbingai elgėsi su gyventojais ir net padėjo atstatydinti Artemidės šventyklą. 547 m. pr. m. e. Lydiją ir Joniją nukariavo Kyras Didysis ir prijungė Efesą prie savo Achemenidų imperijos.
498 m. pr. m. e. jonėnai sukilo prieš persus ir susirėmė su jais Efeso mūšyje. Kartu su kitų graikų pagalba, Efesas išvijo persus iš Jonijos ir netrukus prisijungė prie Delo lygos. Klasikiniu laikotarpiu Efesas ir toliau klestėjo kaip graikų menų centras. 356 m. pr. m. e. Herostratas sudegino Artemidės šventyklą, kuri vėliau atstatyta.
Romoje Efesas tapo Azijos provincijos dalimi. Kadangi romėnai nuolat kėlė mokesčius, efesiečiai nebuvo patenkinti naująja valdžia. Dėl to 88 m. pr. m. e. jie džiaugsmingai pasitiko Ponto karalystės generolą Archejajų, kuris Efese įvykdė masines žudynes, išžudydamas visus romėnų kilmės piliečius. Netrukus sugrįžę romėnai atsikeršijo miestui apdėdami jį dar didesniais mokesčiais.
27 m. pr. m. e. Efesas tapo Azijos provincijos administraciniu centru ir pasiekė klestėjimo viršūnę. Jame dygo nauji romėniški pastatai, teatrai, šventyklos, pirtys, akvedukai, garsėjo Kelso biblioteka. Pasak Strabono, jis buvo antrasis svarbiausias miestas Romos imperijoje. Taip pat tai buvo vienas svarbiausių ankstyvosios krikščionybės centrų, kuriame aktyviai veikė Apaštalas Paulius.
263 m. Efesą nusiaubė gotai ir miestas niekuomet nebeatgavo buvusios šlovės. Konstantinas I dalinai jį atstatė. Priėmus krikščionybę, jame pastatyta Šv. Jono bazilika. 614 m. Efesą sugriovė žemės drebėjimas. Uostą užnešus dumblu, miestas neteko reikšmės kaip prekybinis centras, miestiečiai pamažu kėlėsi iš gyvenvietės, naudodami jo pastatų dalis namų statyboms aplinkiniuose kaimuose. Tuštėjimą lėmė ir nuolatinis nesaugumas: per VIII a. miestas net tris kartus buvo nusiaubtas per arabų puolimus.
XI a. Mažąją Aziją nukariavę Seldžiukai senojo Efeso vietoje terado mažą kaimelį. Vėliau kurį laiką kontrolę susigrąžino Bizantija, kurioje jis vadintas Hagios Theologos. 1304 m. Osmanai vėl užkariavo gyvenvietę, nusiaubė Šv. Jono baziliką, daug gyventojų ištrėmė, o likusius išžudė. Naujai atsikėlę turkai pastatė gyvenvietėje mečetę, karavansarajų ir pirtį.
Galutinai gyvenvietė apleista XV a. Dauguma gyventojų persikėlė į netoliese išdygusį naują uostą – Ajasulugą (dab. Seldžiukas).
Archeologija
Kasinėjimai mieste vyksta nuo XIX a. vidurio. Svarbiausi čia kasinėję mokslininkai buvo britų archeologas John Turtle Wood, vokiečių archeologas Otto Benndorf. Pastarasis įkūrė Austrijos archeologinį institutą, kuris vaidina svarbų vaidmenį Efeso archeologijoje iki dabar.
Efese randama daugiausia Romėnų laikotarpio griuvėsių Viduržemio jūros rytuose. Svarbiausi statiniai, kurių griuvėsiai išlikę, yra Kelso biblioteka, Šv. Jono bazilika, Artemidės šventyklos kolona, Odeonas, Adriano šventykla, Domiciano šventykla, teatras.