Першая летапісная згадка аб паселішчы — 1278 год. Сучасная польская назва горада — гэта фанетычная перадача нямецкамоўнай назвы «Frauenburg» — «Горад Дзевы (Марыі)», якая паходзіць ад тытула першага катэдральнага касцёла горада, асвечанага ў гонар Найсвяцейшай дзевы Марыі. Першапачаткова горад быў уласнасцю біскупаўвармінскіх, з 1320 года адносіўся да Вармінскай капітулы. Па выніках Таруньскага міру 1466 года горад адыйшоў да Кароны Каралеўства Польскага. У Фромбарку як вармінскі канонік з 1510 года і амаль бесперапынна да дня сваёй смерці ў 1543 годзе жыў і працаваў Мікалай Капернік. З 1772 года горад увайшоў у склад Прусіі. У пачатку ХІХ стагоддзя Фромбарк меў такі нізкі статус, што лічыўся невялічкім рыбацкім паселішчам. У 1945 горад зноў стаў часткай Польшчы.