Dei to søylene skal markera enden på ferda til den greske sogehelten Herakles då han henta kveget til Geryon. Ifølgje Platon låg Atlantis utanfor Herkulessøylene.
Under renessansen blei det fortald at søylene hadde innskrifta Nec plus ultra eller Non plus ultra, 'ikkje noko vidare', ei åtvaring om at det ikkje fanst noko utanfor søylene og at sjøfolk ikkje burde segla vidare.