Несмотря на эти проблемы, эта ветвь рода Хосокава управляла Ятабэ-ханом до Реставрации Мэйдзи. 1660 год стал особенно тяжелым для 3-го даймё Хосокава Окитака. Из-за обильных дождей в княжестве начались наводнения, неурожай и мор. Также сгорела резиденция даймё Ятабэ в Эдо. В 1830-х годах в истории княжества был ещё один сложный период. К 1834 году княжество накопило огромные долги и больше не могло получать кредиты. Повышение налогов привело к крестьянским бунтам. С 1835 года началось резкое сокращение населения до половины прежнего уровня, в результате чего большие площади земли из-за недостатка крестьян оказались запущенными. 8-й даймё Хосокава Окинори обратился к известному японскому писателю Сонтоку Ниномии в отчаянной попытке переломить ситуацию в своём уделе. Он начал проводить радикальные реформы в домене, что встретило сильное сопротивление. Сёгунат Токугава вынужден был вмешаться и приказал даймёКумамото-хана оказать помощь Ятабэ-хану, чтобы предотвратить его банкротство. Во время Войны Босин княжество Ятабэ выступало на стороне императорского правительства Мэйдзи и отправило свой воинский контингент для участия в битве при Айдзу.