Rains lutou na Primeira Grande Guerra e num dos ataques foi atingido, ficando quase cego de um olho para o resto da vida.
Seu primeiro papel em Hollywood foi em 1933, no filme O Homem Invisível, onde apenas sua voz marcante era ouvida e a sua face foi vista apenas ao final do filme. Em 1939 naturalizou-se cidadão estadunidense.
Após O Homem Invisível, os estúdios tentaram lhe impor papéis em filmes de terror, mas isso não aconteceu graças às indicações ao Óscar pelos personagens de senador corrupto em Mr. Smith Goes to Washington (1939) e do policial francês em Casablanca (1944).
Em 1946, Rains se tornou o primeiro ator a receber o salário de um milhão de dólares, pelo papel de Júlio César no filme Caesar and Cleopatra.
Dois de seus mais destacados papéis no cinema foram em Lawrence of Arabia, de 1962, onde fez o personagem 'Dryden', e em The Greatest Story Ever Told, de 1965, no papel de 'Rei Herodes', e que foi o último filme em que atuou.