I 2009 ble han utsatt for utpressing fra to fanger; han hadde tidligere angivelig hadde seksuell omgang med begge menn.[2] Ifølge politikilder ble fangene ansatt for å utføre arbeid for bispedømmet. I desember 2008, etter en middag, skulle biskopen ha hatt seksuell omgang med fangene, en handling som ble tatt opp med en mobiltelefon. Opptaket skulle senere ha blitt brukt til å utpresse biskopen.
Han fratrådte den 1. juli 2009 sitt bispeembede etter en etterforskning i regi av Vatikanet i pakt med kirkelovens bestemmelser.[3][4]
Etter sexskandalen i Uruguay flyttet msgr Barbosa Da Silveira til Spania og der ble han hjelpeprest i en menighet i Aravaca-distriktet i Madrid.[5]
Han døde i Madrid 17. juni 2015 i en alder av 71 år. Begravelsen ble holdt dagen etter i Madrid.
