Mesto naj bi se imenovalo po Klavdiju. Ležalo je na nizkih severnih obronkih ugaslega vulkana Erciyes Dagh (Mons Argaeus). Na prostoru, ki se danes imenuje Eskišer, je vidnih samo nekaj sledov starega mesta, ki ga je porušil sasanidski kraljŠapur I. (Sapor), potem ko je leta 260 porazil Valerijana. V tistem času naj bi imelo mesto 400.000 prebivalcev. V 4. stoletju je škof Bazilij Veliki ustanovil na planoti, ki je kakšen kilometer severovzhodno od mesta, preprosto cerkveno središče, ki se je postopoma zlilo s starim mestom. Del Bazilijevega novega mesta je bil obdan z močnim obzidjem, Justinjan I. pa ga je še bolj utrdil in pretvoril v pravo trdnjavo.
Večji del mesta Kayseri, ki so ga znova zgradili v 13. in 14. stoletju, leži znotraj obzidja. Leta 1064 je mesto zavzel seldžuški sultanAlp Arslan, leta 1243 pa Mongoli, potem pa je padel v roke dinastije osmanskih Turkov.
Cezareje v Kapadokiji ne smemo zamenjati s Cezarejo Filipi ali Cezarejo Maritimo, ki sta obe v Palestini.