Fortet ble flere ganger utvidet og ombygd. En viktig ombygning skjedde etter at Siraj ud-Daulah hadde klart å erobre det i 1756 og holdt det i en kortere stund. I den tiden han holdt fortet, fikk det navnet Alinagar.[trenger referanse]
Et indre vaktrom gikk inn i historien som The Black Hole of Calcutta etter at nawaben, som hadde erobret festningen, hadde brukt det som fangehull for et stort antall krigsfanger i 1756, og de fleste døde i heten.[2] John Zephaniah Holwell, en britisk overlevende, sa at 146 var blitt innesperret der, og at bare 23 overlevde.[2][3] Imidlertid er det umulig å få inn 146 personer i et rom på 24 x 18 fot. Det er enighet om at antallet fanger er sterkt overdrevet.[3] Britene fanget og henrettet senere nawaben. En obelisk ble senere reist til minne om dem som døde i «det sorte hullet». Moderne historikere mener at det var 64 fanger som ble sendt til fangehullet, og at 43 døde der.[4]