1932년 혈맹단을 결성, "일인일살 일살다생"을 내걸고 요인 암살으로써 국가개조를 실현할 것을 꾀하여 2명을 살해했고(혈맹단 사건),[2] 체포된 뒤 수괴로서 무기징역을 선고받았다. 1940년 특사를 받아 출옥, 1941년 미카미 타쿠, 요츠모토 요시타카, 히시누마 고로등과 히모로기숙을 설립하고 한동안 고노에 후미마로의 저택에 기식했다. 미일협상 진전에 따라 발생할 수 있는 테러를 두려워한 고노에가 경호원으로 이노우에를 고용한 것이었다.[3]
태평양 전쟁이 일본의 패전으로 끝난 뒤 1947년 공직추방 대상이 되어 정치활동을 금지당하고 농촌 강연을 돈다. 1953년 우익단체 유신운동 관동협의회 참여로 취임. 이듬해 사고야 토메오 등과 보국단을 결성하고 초대 단장이 된다. 1956년 우익활동에서 은퇴하고 흑막미우라 기이치의 경제적 원조를 받아 노후를 보내다 1967년 뇌연화증으로 사망.