Il vota contre la destitution du président Andrew Johnson, lui permettant de rester à son poste avec une majorité d'une voix. Cette acte, motivé selon ses dires par la volonté de maintenir l’indépendance du pouvoir exécutif — injustement visé par une procédure de destitution — par rapport à celui du législatif, lui valut l’opprobre aussi bien au sein de son État qu’à travers tout le pays.