Va debutar als 23 anys com a actor a Broadway. El paper que el va portar a la fama va ser Lost Boundaries. Els seus principals èxits van ser pel·lícules d'època, com Scaramouche, Guerra i pau i La caiguda de l'Imperi Romà. Després va participar en dues pel·lícules de Marisol, la gran estrella del cinema espanyol: Cabriola (com a director) i La chica del Molino Rojo. Ja en la dècada de 1980 va participar com a estrella convidada en la famosa sèrie de televisió Falcon Crest.
La seva vida sentimental va ser bastant moguda. Es va casar dues vegades amb Frances Gunby Pilchard. Posteriorment va estar 15 anys casat amb Audrey Hepburn amb qui va tenir un fill, Sean H. Ferrer, també actor.
