В 1506 году воевода Пётр Семёнович Лобан Ряполовский по указу Василия III заложил для защиты границ от Великого княжества Литовского крупную деревянную рубленную крепость на земляных валах. Уже через два года в ходе русско-литовской войны 1507—1508 годов к новой крепости подошло войско Сигизмунда I. Оно осадило крепость и в конечном итоге сожгло её, однако вскоре крепость была вновь отвоёвана русским войском во главе с Даниилом Щенёй.
В этот период крепость часто переходила из рук в руки и по условиям Деулинского перемирия 1618 года вновь отошла к Речи Посполитой. В начале Смоленской войны крепость была взята русским войском. В 1634 году на заключительном этапе войны она стала местом знаменитой героической обороны, которая вынудила короля Владислава IV пойти на мирные переговоры (Поляновский мир). Сама крепость при этом вновь была передана Речи Посполитой. Окончательно Белая была взята русским войском без сопротивления во время государева похода 1654 года.
К середине XVIII века крепость потеряла военное значение и пришла в упадок. В начале XIX века на крепостной горе на месте прежнего деревянного храма был построен каменный Троицкий собор, из-за которого гора стала называться Соборной. До наших времён на некоторых отрезках дошли валы крепости.
Характеристика
Крепость, заложенная князем Ряполовским, была довольно крупной. Протяжённость крепостных стен из мощных дубовых брёвен превышала километр. В крепости могли размещаться до 10 тысяч воинов, а во время осады там могло укрываться всё посадское население. На этот случай существовали погреба для хранения боеприпасов, амбары с продуктами, колодцы и подземные тайные ходы.
Крепость состояла из Верхнего города (детинца), окружённого стеной и четырьмя башнями и являвшегося наиболее защищённым. В нём находилась воеводская и приказная избы, соляной амбар и колодец. С южной стороны к нему примыкал более крупный по площади Нижний город (окольный город), имевший пять башен высотой от 10 до 20 м. Над шатровыми крышами башен возвышались смотровые вышки. Проезд в крепость находился с восточной стороны под Воротной башней. Нижний город образовывал с южной стороны своеобразный рукав, на оконечности которого стояла Рукавная башня. На её месте сегодня установлен танк Т-34.
Вокруг крепости во рвах и на берегах озера и реки стоял дополнительный забор из дубовых столбов. Здесь защитники крепости принимали первый бой. Крепость защищали с запада глубокий ров, с севера — река Обша, с востока — озеро Весёлое и река Весёлка, с юга — болото.
