À la fin de son service en tant que shoshidai, il est fait rōjū. De 1834 à 1835, il est chef rōjū (rōjū shusseki). Cependant, son acceptation de pots-de-vin dans le cadre de la rébellion de Sengoku l’amène en conflit avec Mizuno Tadakuni et sa faction dans le shogunat, et lui coûte son poste. Il prend sa retraite de sa fonction de daimyo la même année, et meurt six ans plus tard.
