Emmylou Harris werd in 1947 geboren in Birmingham, Alabama. Op de middelbare school was ze de beste van haar klas. Ze won een studiebeurs voor dramatiek bij de University of North Carolina at Chapel Hill. Hier richtte ze zich op de muziek, waarbij vooral de folkmuziek van Bob Dylan en Joan Baez haar zeer aansprak.
In 1969 trouwde ze met songwriterTom Slocum, waarna ze haar debuutalbum Gliding Bird opnam. Helaas ging haar platenlabel failliet en liep het huwelijk op de klippen, waardoor ze gedwongen was om samen met haar pasgeboren dochter Hallie bij haar ouders in Washington D.C. te gaan wonen.
Ze pakte al snel de muziek weer op, en vormde een trio met de muzikanten Gerry Mule en Tom Guidera. Tijdens een optreden in 1971 werd ze opgemerkt door Chris Hillman, die toentertijd tijdelijk leadzanger was van The Flying Burrito Brothers, nadat Gram Parsons de band had verlaten. Eerst was hij van plan haar op te nemen in die groep, maar hij besloot haar voor te stellen aan Gram Parsons, die een zangeres zocht om mee te zingen op zijn solodebuut GP. Harris werd opgenomen in zijn Falling Angels en ging mee op tournee. In 1973 gingen ze de studio in om Parsons' tweede album, Grievous Angel op te nemen. Hij overleed op 19 september, enkele weken na het einde van de opnamen aan een overdosis van alcohol en drugs.
Samen met Tom Guidera vormde ze The Angels Band, en samen werkten ze aan haar doorbraakalbum Pieces of the Sky, dat in 1975 uitkwam bij Reprise Records. Het album werd geproduceerd door Brian Ahern, met wie ze later zou trouwen.
Vanaf het midden van de jaren zeventig werkte ze veelvuldig samen met onder andere Dolly Parton, Linda Ronstadt en Neil Young. Zo waren zij alle drie te horen in het achtergrondkoor van Harris' kerstnummer "Light of the Stable". Samen met Ronstadt en Parton nam ze twee albums op (Trio (1987) en Trio 2 (1999)), en samen met Ronstadt een duetalbum (Western Wall: The Tucson Sessions (2000)). Ook is ze te horen op enkele nummers van Young.
Blue Kentucky Girl uit 1979 is haar meest country-georiënteerde LP tot dan toe. Het jaar daarop bracht ze Roses in the Snow uit, waarop ze akoestische bluegrass liet horen. Voor dit album kreeg ze een Grammy Award. In 1981 nam ze Evangeline op, waar onder andere de hit "Mister Sandman" op staat. In 1983 kwam White Shoes uit, met daarop onder andere een versie van "On the Radio" van Donna Summer.
Voor haar semi-autobiografische album uit 1985, The Ballad of Sally Rose, schreef ze voor het eerst al haar nummers. Op dit album werkte ze samen met singer-songwriterPaul Kennerley. De twee traden aan het einde van de tournee in het huwelijk.
Begin jaren negentig werd The Hot Band opgeheven, en in 1992 richtte ze een nieuwe band op, The Nash Ramblers. Met deze band nam ze At the Ryman op, een live-album waarvan de opbrengst is gegaan naar de restauratie van de Ryman Auditorium in Nashville. In 1995 stopt ze de samenwerking met de Nash Ramblers en gaat ze met een opnieuw gegroepeerde Hot Band op tournee, de zogenaamde "The New American Music Tour" die de 20-jarige samenwerking tussen Emmylou en The Hot Band markeerde. Ook Europa werd aangedaan tijdens deze toernee, o.a. de Royal Albert Hall in Londen.
Voor Asylum Records nam ze Cowgirl's Prayer op, vlak na haar scheiding met Kennerley. In 1995 bereikte ze een geheel ander publiek met Wrecking Ball, een album dat werd geproduceerd door Daniel Lanois, die vooral bekend was voor zijn productiewerk voor U2, Peter Gabriel en Bob Dylan. Op dit album staan nummers van onder andere Neil Young (die ook in twee nummers te horen is, waaronder in Wrecking ball), Jimi Hendrix en Gillian Welch.
Red Dirt Girl uit 1999 is het tweede album waarvoor ze zelf enkele nummers heeft geschreven. Op dit album werkte ze onder andere samen met Bruce Springsteen. Ook voor de opvolger van dat album, Stumble Into Grace, schreef ze zelf haar nummers.
