Le , il est arrêté par le FBI sur des charges fédérales de corruption. Le procureur des États-Unis pour le district sud de New York et l'antenne du FBI de New York accusèrent Smith d'avoir tenté de sécuriser un vote républicain dans l'élection au poste de maire de New York en corrompant le conseiller municipal Dan Halloran(en) et deux autres officiels républicains[4],[5]. En , l'ancien conseiller municipal démocrate Leroy Comrie battit Smith lors de la primaire et l'année suivante Smith fut reconnu coupable de toutes les charges retenues contre lui et condamné à sept ans de prison fédérale.