Bergen op Zoom dianugerahi status kota mungkin pada 1266. Pada 1287, kota ini dan kawasan sekeliling menjadi sebuah wilayah lord selepas diasingkan daripada wilayah lord Breda. Statusnya dipertingkat lagi menjadi margraf pada tahun 1559. Banyak keluarga diraja memerintah Bergen op Zoom secara berturut-turut sehingga 1795, walaupun hanya pada nama sahaja sejak sekurang-kurangnya abad ke-17.
Semasa zaman moden awal, Bergen op Zoom merupakan sebuah kota kubu yang amat kuat serta juga salah satu gedung senjata yang utama di United Provinces. Bergen op Zoom tapak pertahanan semula jadi yang luar biasa, dikelilingi oleh tanah paya dan polder yang mudah dibanjirkan. Tambahan lagi, ia dapat menerima tenaga bantuan dan bekalan menerusi laut, sekiranya dikepung oleh tentera yang tidak berarmada untuk mengepung pelabuhan.
Pada 1747, semasa Perang Rebut Takhta Austria, tentera Perancismengepung Bergen op Zoom sekali lagi. Pada waktu itu, Bergen op Zoom mempunyai kubu yang dibina pada awal abad ke-17 oleh Menno van Coehoorn, bersama-sama dengan tiga buah kubu yang lain serta sebatang lencongan tali air di Scheldt yang bertindak sebagai parit yang mengelilingi tembok kota. Bagaimanapun, Bergen op Zoom tidak memiliki barisan pertahanan kedua. Justera, selepas pengepungan selama 70 hari, kota itu ditawan dan sekaligus dijarah, dengan garisonnya dibunuh dengan kejam. Disebabkan pertempuran itu, nama kotanya dapat dilihat pada salah satu gerbang di Arc de Triomphe, Paris.
^"Datuk bandar" [Datuk bandar] (dalam bahasa Belanda). Gemeente Bergen op Zoom. Diarkibkan daripada yang asal pada 22 April 2014. Dicapai pada 21 April 2014. Unknown parameter |deadurl= ignored (bantuan)
^"Kerncijfers wijken en buurten" [Key figures for neighbourhoods]. CBS Statline (dalam bahasa Dutch). CBS. 2 July 2013. Dicapai pada 12 March 2014.CS1 maint: unrecognized language (link)
^"Alatan poskod untuk 4611AR". Actueel Hoogtebestand Nederland (dalam bahasa Belanda). Het Waterschapshuis. Dicapai pada 21 April 2014.