Едвард Альберт народився 20 лютого1951 року в Лос-Анджелесі. Батько — актор Едді Альберт, мати — мексиканська актриса і танцюристка Марго. Навчався в Оксфордському університеті. Вільно володів іспанською, французькою, португальською та китайською мовами. У 14 років уперше з'явився на екрані у фільмі «Убивця дурнів» (1965). Зіграв у фільмі «Метелики вільні» (1972) з Голді Гоун. За цю роль Едвард здобув премію «Золотий глобус» у номінації найбільш перспективний актор-початківець.
Едвард був одружений з Кетрін Вудвілл з 27 червня 1979 року, народилася одна дитина.