Rains debuterade på scenen i London redan som 11-åring. På Broadway i USA debuterade han 1926, och spelade med i ett antal uppsättningar fram till 1934.[1] 1933, efter en framgångsrik scenkarriär gjorde han filmdebut i Hollywood där han gjorde titelrollen i Den osynlige mannen. Rains hade dock tidigare haft en liten roll i en brittisk stumfilm 1920.
Han fick kontrakt hos filmbolaget Warner Bros. där han ofta fick spela skurkroller. Med sitt mjuka och behagliga sätt var han charmig även i dessa roller. Han spelade bland annat Prins John i Robin Hoods äventyr 1938, en korrupt senator i Mr Smith i Washington, och en osympatisk läkare i Ringar på vattnet (1942). I fyra filmer spelade han mot Bette Davis, bland dem Under nya stjärnor och En kvinnas väg. Bäst ihågkommen är han som den franske polischefen i Casablanca (1942). Rains spelade även huvudantagonisten i Alfred Hitchcocks thriller Notorious! 1946.
På 1950-talet gjorde han åter några roller på Broadway samtidigt som han fortsatte filma. Han gjorde även roller för TV och medverkade flera gånger i Alfred Hitchcock presenterar.
Rains nominerades till en Oscar fyra gånger i kategorin bästa manliga biroll, men vann inte någon gång. Han har en stjärna på Hollywood Walk of Fame vid adressen 6400 Hollywood Blvd.[2]