Pierwsze wzmianki o Broumovie pojawiają się w 1213 r., kiedy król czeski Przemysł Ottokar I ofiarował ziemię opactwu benedyktynów, których hasłem przewodnim stało się zawołanie łac.Ordo et pax (ład i pokój). Od tego momentu rozpoczął się kilkusetletni, miejscami bardzo burzliwy, związek benedyktynów z miastem. Niebawem dzięki opatowi Martinowi I (1253–1278) wybudowano kościół parafialny oraz probostwo. W roku 1275 król Ottokar II nadał sukiennikom z Broumova przywilej na produkcję i handel suknami, co wpłynęło pozytywnie na rozwój tej branży w regionie[4]. W 1348 r. cesarz Karol IV nadał benedyktynom prawa równe miastom królewskim Hradcowi Králové i Kłodzku, a w 1459 r. opat Jan I (1449–1460) uznał nowego czeskiego króla Jerzego z Podiebradów i zaprosił go do klasztoru. W kolejnych latach pojawili się energiczni i wpływowi opaci jak Wolfgang Selender (1602–1619) z Prošovic. Dzięki rozwojowi gospodarczemu w pierwszej połowie XVIII w. nastąpił największy rozkwit miasta. Zostają wzniesione nowe barokowe obiekty klasztorne, kościoły oraz rezydencje[5], a na nich zazwyczaj kartusz z herbem opactwa, składający się z dwóch tarcz pod mitrą. Prawa (z punktu widzenia tarczownika) zawiera srebrną belkę (kłodę) z trzema kikutami po uciętych gałęziach, nawiązującą do historii powstania klasztoru. Lewa z niebieskim tłem ma trzy srebrne skosy, z których środkowy zdobią trzy czerwone róże. Pierwotnie na belce środkowej znajdowała się tylko jedna róża, wzorowana na herbie Poraj, którego nazwa wywodzi się od Poraja, syna księcia czeskiego Sławnika i brata św. Wojciecha[6]. Na niektórych herbach znajdują się monogramy ówczesnych opatów[7] a dwie kolejne litery AB to skrót od tytułu: opat w Broumowie (łac. Abbas Braunensis)[8].
klasztor benedyktyński jest najbardziej okazałym zabytkiem miasta. Został uznany za czeski zabytek narodowy, przebudowany na barokowy w latach 1726–1748 według projektu Kiliána Ignáca Dientzenhofera. Zespół klasztorny obejmuje: kościół, a w nim refektarz z kopią Całunu Turyńskiego z 1651 r. oraz ogromną bibliotekę, a także Muzeum Ziemi Broumovskiej.
Pogranicze czesko-śląskie wydało wybitnych twórców słowa pisanego. Josef Čapek urodził się w Hronovie, jego młodszy brat Karel natomiast w Małych Svatoňovicach. Do szkoły w Českiej Skalicy uczęszczała Božena Němcová. Natomiast w latach 1863–1867 w gimnazjum u ojców benedyktynów nauki pobierał Alois Jirásek. Pisarz w latach 1918, 1919, 1921 i 1930 był nominowany do Nagrody Nobla w dziedzinie literatury. Jego imię nosi czerwony szlak turystyczny (j. cz. Jiráskova horská cesta) w Górach Orlickich, na Pogórzu Orlickim i na Broumovskiej vrchovinie. Pod koniec lat 40. XX w. jako nauczyciel w szkołach średnich pracował Josef Škvorecký. Tradycje literackie w mieście nad Stěnavą są dalej kontynuowane. Od 1997 odbywają się czesko-polskie spotkania poetyckie a od 2000 Dni Poezji (cz.Dny poezie). W 2023 r. odbyła się już 24. edycja tej imprezy, wymyślonej i prowadzonej przez Věrę Kopecką. Innymi współczesnymi poetami z Broumova są: Miloš Hromádka, Eva Kučerová (1946–2007) i Jana Wienerová[10]. W pobliskich Martínkovicach mieszkają Iwona i Antoni Matuszkiewiczowie. Od 2018 Wrocławski Dom Literatury wraz z czeskimi i niemieckimi partnerami prowadzi program rezydencyjny w broumovskim klasztorze. Udział w nim biorą pisarze uprawiających różne gatunki literackie, ilustratorzy, autorzy komiksów i książek artystycznych[11]. W siedmiotysięcznym Broumovie funkcjonuje teatr (Městské divadlo Broumov) a innymi instytucjami kultury są biblioteka (Městská knihovna) i muzeum (Muzeum Broumovska)[12].