Rosemary Harris est née à Ashby-de-la-Zouch. Elle est la fille de Stafford Berkely Harris et d'Enid Maude Frances. Son père est dans la Royal Air Force.
Sa famille vit en Inde pendant son enfance. Une de ses grands-mères, née dans une famille de boyars à Muntenia, est roumaine.
Elle va aux écoles de couvent et étudie plus tard à l'Académie Royale d'Art dramatique de 1951 à 1952.
Vie privée
Elle est mariée à Ellis Rabb de 1959 à 1967, et à John Ehle de 1967 à 2018 avec qui elle a une fille, l'actrice Jennifer Ehle, née en 1969.