Місто розташовувалося на кордоні між Нижнім і Середнім Єгиптом, де річкові судна сплачували мита при підйомі або спуску по Нілу. Діодор приписує зведення першої фортеці в цих місцях ассирійським полоненим, колишнім повстанцям, за царювання Сезостріса, а Ктесій датує його спорудження часом правління цариці Семіраміди; Йосип Флавій вважав його структуру з високим ступенем пов'язаної з можливою діяльністю вавилонського царя Камбіса, а будівництво датував приблизно 525 роком до н. е. Римляни побудували нову фортецю, з типово римської пов'язаної кладки з червоної та білої цегли, ближче до річки[2].
Спочатку Вавилоном називалося найбільше місто Месопотамії, але є й інша версія походження назви фортеці, що зв'язує його з древнім Pr-Hapi-n-Iwnw («Ніл будинку Геліополя»), святилищем божества Хапі в місті Геліополі. Хапі був божеством Нілу[3]. У арабський час ця фортеця стала відома під назвою Каср-аль-Шамі, або Палац свічок, оскільки в її баштах на початку кожного місяця запалювалося безліч яскравих свічок, щоб люди могли стежити за рухом сонця від однієї вежі до іншої . В межах стародавньої фортеці розташовані Коптський музей, жіночий монастир і кілька церков, у тому числі церкви Георгія і Марії[4].
Згідно з давніми джерелами, перша фортеця тут була споруджена персами приблизно в VI столітті до н. е., але в той час розташовувалася на скелях поблизу річки. Коли Єгипет захопили римляни, вони деякий час використовували стару фортецю, визнаючи її велике стратегічне значення на Нілі, але через проблеми з водопостачанням римський імператор Траян перемістив її на нинішнє місце, в той часце було ближче до річки. З тих часів води Нілу «перемістилися» на приблизно на 400 метрів північніше.
В епоху правління Октавіана Августа «Вавилон дельти» отримав нове значення: у ньому розміщувався штаб трьох легіонів, який забезпечував римську владу над Єгиптом. У Notitia Imperii Вавилон згадується як місце розташування казарм XIII Парного легіону. Руїни міста і фортеці збереглися до нашого часу на північ від Старого Каїра; в їх числі руїни великого акведука, про який писали Страбон і ранні арабські топографи.
Згодом місто було резиденцією християнської єпархії, суффрагана Леонтополя, столицею і столичною єпархією римської провінції Августоматіка Секунда. Імена деяких з його єпископів збереглися до нашого часу. У другій половині V століття деякі з них визнали рішення Халкідонського собору, але більшість відкинули його рішення[5][6]. Не будучи нині резиденцією єпископа, Вавилон сьогодні розглядається католицькою церквою як титулярна єпархія[7].
Під час мусульманського завоювання Єгипту фортеця Вавилона перебувала в облозі близько семи місяців, перш ніж була взята в квітні 641 року арабським воєначальником Амром ібн аль-Асом.
