2000년 10월 애인의 방문이나 우익과의 회식 등 불미스러운 일이 자주 일어나 실력을 발휘하지 못하고, 취임 3개월 만에 사임 위기에 몰림. 이 사임은 모리 내각의 지지율 하락을 부추겼으며, 가토의 난이 일어나는 데에도 영향을 주었다.
2002년 10월 자민당 국회대책위원장으로 취임해 복귀. 고이즈미 준이치로 총리의 신임이 깊어, 측근 중의 측근으로 알려진다. 정치 수완도 높이 평가받아 이례적인 장기 유임을 통해, 2005년 7월에는 무라오카 가네조 전 중의원 의원의 국회대책위원장 최장기간 재직 기록인 1023일을 갱신한다.