Han slo også Tommy Morrison med en knockout i femte runde. Det var store forventninger til Mercers videre karriere på begynnelsen av 1990-tallet, men da han tapte for den aldrende Larry Holmes og Jesse Ferguson i 1992. Begge kampene ble tapt på poeng. Hans tap mot Ferguson forhindret Mercer i å møte verdensmester Riddick Bowe. Mercer revansjerte tapet mot den antatt dårligere Jesse Ferguson på poeng i 1993.
Ray Mercer gikk så på ett nytt poengtap mot Evander Holyfield i 1995. Han bokset imidlertid mot Lennox Lewis i en ti runders kamp i New York i 1996. Mercer tapte en splittet dommeravgjørelse. Etter tapene mot Holyfield og Lewis var Mercer ute av bildet om ny tittelkamp. Han la opp i 1997 etter å ha fått diagnosen hepatitt B. En kamp mot Mike Tyson ble planlagt i januar 2002, men avlyst da Tyson i stedet takket ja til tittelkamp.
Etter comebacket valgte Mercer i stedet å bokse mot ukrainskeVladimir Klitsjko. Her ble Mercer slått i canvasen allerede i første runde. Kampen ble avgjort på teknisk knockout.
Ray «Merciless» Mercer er tidligere løytnant i den amerikanske marinen.
