Han ble født i West Virginia, men familien flyttet til Miami i Florida da han var en liten gutt. Da han var åtte år gammel begynte han å spille munnspill og utviklet sine ferdigheter så langt at han valgte å satse på en karriere i musikk. I 1959 flyttet han så, 18 år gammel, til Nashville i Tennessee, hovedstad for countrymusikk. Da han ikke var i stand til å finne nok arbeid som en løsarbeider i musikk, vendte han tilbake til sitt hjem, men nektet å gi slipp på drømmen om å spille munnspill. Han begynte derfor på kurs i musikkteori mens han også tok stemmeundervisning. Han stahet ga belønning da han fikk en sjanse hos Monument Records til å spille munnspill på Roy Orbisons innspilling av Candy Man i 1961. Sangen åpner med et riff på munnspil som er en integrert del av musikkproduksjonen. Som et resultat av dette vellykkede samarbeidet ble døren åpnet på vidt gap for McCoy og han startet å jobbe som løsarbeider for noen av de andre store navn i musikk, inkludert Elvis Presley, Bob Dylan, Johnny Cash og Paul Simon.[trenger referanse]
McCoy er også dyktig på gitar, bass, keyboard og trommer så vel som på flere treblåseinstrumenter og messing.[trenger referanse] I tillegg til studioarbeid har han vært musikalsk leder i 19 år for det populære TV-programmet Hee Haw.[trenger referanse] Han har også sunget og spilt på mer enn to dusin egne musikkalbum og i 1973 fikk han Grammy Award for Best Country Instrumental Performance for sitt album, Charlie McCoy/The Real McCoy.
McCoy har et internasjonalt renomme og har blitt populær med årene både i Japan og Europa, hvor han turnerer jevnlig.[trenger referanse] Han er med på siste plata til Bjøro Håland: Diamonds Are Forever.
