In beperkte kringen werd Jenkins beroemd als jazz- en rockmuzikant, die zich vooral bezighield met de bariton- en sopraansaxofoon, verschillende toetsinstrumenten en de hobo. Hij voegde zich bij de jazzgroep van Graham Collier en werd later medeoprichter van Nucleus, later een bekende jazzband die in 1970 de eerste prijs op het Montreux Jazz Festival won. Tussen 1972 en 1984 speelde Jenkins toetsen en rietblazers in de band Soft Machine. Het eerste album dat hij met deze band maakte, Six was direct een succes, en zorgde ervoor dat de band in 1973 de Melody Maker British Jazz Album of the Year Award in ontvangst mocht nemen. Bovendien won Jenkins in 1974 de Melody Maker-award in de categorie Miscellaneous musical instrument. Tussen 1976 en 1984 had Jenkins de leiding binnen Soft Machine.
Na de opsplitsing van Soft Machine richtte Karl Jenkins zich samen met Mike Ratledge, die hij kende van de Soft Machine, vooral op het componeren van reclamemuziek. Een van zijn bekendste werken is het klassiekethema dat hij schreef voor een reclamecampagne van De Beers, een groot diamantbedrijf. Dit thema werd in 1996 de titeltrack van Jenkins' gevarieerde Diamond Music-project. Later was Jenkins ook samen met zijn zoon, Jody K Jenkins, actief in de reclame. Zo hebben zij de muziek geschreven van onder andere een McDonald's- en een BMW-reclame.
In 1995 maakte Jenkins een begin met zijn crossover-project Adiemus, met het album Adiemus: Songs of sanctuary en de single "Adiemus". Dit project is gebaseerd op klassieke muziek, maar is erg gevarieerd. Zo zijn er invloeden van jazz in te herkennen, maar ook van klezmer en de azan, de muzikale oproep tot gebed binnen de Islam. Inmiddels zijn er binnen dat project zeven albums verschenen, waarvan het laatste in 2003.
In 2005 werd Jenkins benoemd tot Officier en in 2010 tot Commandeur in de Orde van het Britse Rijk. In 2015 werd hij verheven tot in de adelstand (ridder - Sir Karl Jenkins).
Karl Jenkins heeft een aantal eigen bedrijven. Zijn eigen muziek wordt uitgebracht bij Karl Jenkins Music Ltd.. Daarnaast wordt de reclamemuziek van Jenkins en Mike Ratledge ondergebracht in het bedrijf Jenkins Ratledge en tot slot is Mustache (waarvan de naam verwijst naar Jenkins snor) het productiebedrijf van Karl Jenkins, Jody K. Jenkins en Helen Connolly.
Discografie
Deze discografie bevat alleen de albums van Nucleus en Soft Machine waar Karl Jenkins zelf aan heeft meegewerkt.