Семен Полоз мав єдину спадкоємицю — доньку Фенну, яка вийшла заміж за князя Дмитра Видинецького-Любецького, якому король польський і великий князь литовський Сигізмунд I дозволив збудувати в Хабному замок, осадити місто і корчми повідкривати.[1] Вже в описі Овруцького замку 1545 року згадується «замочокъ Хобное».[2] Це було невелике дерев'яне укріплення з кількома баштами, оточене ровом, залитим водою. Тут постійно перебувала сторожа. Причому, розташовувалося замкове укріплення окремо від містечка.
Розташування
Розмір давнього укріплення міста становив близько 450×250 м, а його орієнтовна площа — до 10 га. Десь всередині цього острогу, можливо, у його північно-східній частині, існував маленький замочок з його окремими укріпленнями.
На малюнку Хабного другої половини XIX ст. є підвищення правого берега р. Уж, на якому — центральна, історична частина містечка. У центрі — Спасо-Преображенська церква, яка має типовий для XVII—XVIII ст. хрестоподібний план. Ліворуч від неї видно костел Внебовзяття (Вознесіння) Діви Марії, праворуч, за корпусами суконної фабрики, бані Миколаївської церкви. Через Уж перекинуто дерев'яний міст, який існував на цій переправі вже з XVI ст. Дорога від нього обмежувала давній острог Хабного із заходу із східного боку укріплення міста, імовірно, виходили до балки-яру, зображеної в лівій частині малюнка.