Marmaris restis parto de Romio ĝis la falo de la Romia Imperio, kaj poste restis en la Bizanca imperio ĝis kiam, en 1425, la Otomanoj prenis ĝin. La kastelo estis konstruita de ili en 1522 dum la milito celanta la konkeron de Rodoso (fakte prenita je la fino de tiu jaro).
La sekvanta historio ne enhavas multajn notindajn eventojn.
Dum la 1-a Mondmilito la kastelo de Marmaris estis frapita de bomboj ĵetitaj de francaj ŝipoj. Tuj post tiu milito (1919-22) Marmaris estis okupata de Italio.
En 1957 grava tertremo de magnitudo 7,2 Richter kun surcentro inter Rodoso kaj la turka marborda urbo Fethiye detruis grandan parton de la urbo. La kastelo tamen, kun la proksimaj historiaj konstruaĵoj, suferis preskaŭ neniun domaĝon.