La Città Vecchia di Gerusalemme (in ebraicoהעיר העתיקה?, Ha'Ir Ha'Atiqah, in araboالبلدة القديمة?, al-Balda al-Qadīma) è quella parte della città che si trova dentro le mura. Il nucleo originario dell'abitato, invece, chiamato Città di David ed edificato sul monte Sion, è rimasto esternamente alle attuali mura, verso sud.
Sion, se non era fortificata al tempo dei Gebusei, lo fu certamente con Davide, mentre suo figlio Salomone occupò la parte settentrionale del colle, la cima Moriah e vi fece costruire il Tempio di JHWH, laddove oggi vi è la Cupola della Roccia (Qubbat al-Ṣakhraʾ in arabo).
Al tempo del re riformatore Ezechia le mura percorrevano, oltre al nucleo vecchio, tutti i lati del Gareb, collina ad ovest di Sion. La Città di David, posta a un'altitudine minore, fu detta "Città bassa", mentre la "Città alta" era il Gareb. A nord si stendeva, sul cosiddetto "sperone centrale", una propaggine meridionale del Golgota, la zona del mercato, il maqtesh, anch'esso difeso da mura, dette "di Manasse".
Erode Agrippa I, detto anche "Il Grande", inglobò nella città i suburbi settentrionali, detti mishneh, cioè città nuova.
Dopo Tito, Gerusalemme assume una veste nuova. Il Tempio distrutto venne sostituito dal Tempio di Giove, e la città fu ribattezzata Aelia Capitolina. La maggior estensione della cinta muraria si ebbe in età bizantina, nel V secolo, prima della distruzione da parte dei Persiani nel 614, guidati da Cosroe II.
La città vecchia consta di quattro quartieri: cristiano, ebraico, musulmano e armeno. I quartieri sono divisi da strutture dell'antica città romana: la zona ovest, cristiana ed armena, è separata da quella musulmana ed ebraica dal cardo maximus, mentre è il decumano, con asse est-ovest, a dividere i quartieri cristiano e musulmano a nord, dall'armeno e dall'ebraico a sud.
Tradizionalmente, la città antica di Gerusalemme ha otto porte di accesso principali, di cui una murata, ed un accesso minore:
Porta Nuova (Sha'ar HéHadash o Bab al-Jadīd) Chiamata anche "porta di Hamid": è la porta più recente (fu costruita nel 1887) ed è situata nella parte occidentale delle mura a Nord.
Porta di Damasco (Sha'ar Dimashq) Chiamata anche "porta di Sichem" (Sha'ar Shechem), od ancora "porta del Pilastro (Bab al-ʿAmūd): costruita nel 1537 è situata al centro delle mura a nord; da questa porta esce una strada che porta direttamente alla città di Sichem.
Porta di Erode (Sha'ar Hordos) Chiamata anche "porta dei Fiori" (Sha'ar HaPerachim) o "porta delle Pecore" (Bab-a-Sahairad): situata nella parte orientale delle mura a nord.
Porta dei Leoni (Sha'ar Ha'ariot) Chiamata anche "porta di Giosafat", "porta di Santa Maria" (Bāb Sitt Maryam), "porta di Santo Stefano" o "porta delle Tribú": costruita tra il 1538 e il 1539 è situata nella parte nord delle mura ad est. Deve il suo nome al fatto di essere "inquadrata" da due animali scolpiti che fanno pensare a due leoni (ma si tratta in realtà di due leopardi)
Porta d'Oro (Sha'ar Harahamim) Chiamata anche "porta della Misericordia" od anche "porta della Vita eterna": costruita nel V secolo è situata al centro delle mura ad est; è una porta chiusa, poiché è la porta attraverso la quale, secondo la tradizione ebraica, il Messia entrerà in Gerusalemme
Porta del Letame o delle immondizie (Sha'ar Ha'ashpot) Chiamata anche "porta di Silwan" o "porta Mograbi": costruita tra il 1538 ed il 1540, è situata nella parte orientale delle mura sud; deve il suo nome al fatto che i detriti della Città vecchia passavano per questa porta.
Porta dei Tintori (Sha'ar HaBursekaim) Rappresenta un accesso minore quanto ad ampiezza ed importanza. Datata dal XIII secolo, è situata presso la porta delle Immondizie.
Porta di Sion (Sha'ar Zion) Chiamata anche "porta di Davide" poiché dà accesso al monte Sion ove si trova la tomba di Davide. È l'ingresso al quartiere ebraico: fu costruita nel 1540 ed è situata al centro delle mura sud.
Porta di Giaffa (Sha'ar Yaffo) Chiamata anche "porta degli Amici" (Bāb al-Khalīl) o "porta della Torre di Davide": costruita tra il 1530 ed il 1540, è situata al centro delle mura ovest. Deve il suo nome al fatto che conduce direttamente alla città di Giaffa, a qualche chilometro da Tel Aviv.