Van 1948 tot 1951 maakte hij deel uit van het orkest van Count Basie. Het was zijn doorbraak in de jazz, waardoor hij een overstap kon maken naar de band van Duke Ellington, waar hij van 1951 tot 1959 speelde. Aansluitend werkte hij bij Quincy Jones (1960). Clark Terry was nu een wereldster geworden, die met zijn manier van spelen een grote invloed uitoefende op andere musici, waaronder trompettist Miles Davis en Quincy Jones. Hij beheerste verschillende stijlen, van swing tot hard bop en stond bekend om zijn techniek en goede humor.
De jaren zestig en later
Zijn reputatie nam toe na zijn aanstelling bij de Amerikaanse omroep NBC, waar hij in de volgende tien jaar regelmatig optrad in de band van de Tonight Show, geleid door Doc Severinsen. Hij werd hier ook beroemd als scat-zanger en had in deze periode een hit met 'Mumbles'. In dezelfde periode bleef hij jazz spelen, onder meer met trombonistBob Brookmeyer, met wie hij begin jaren zestig een redelijk populair quintet had.
In 2014 maakte Alan Hicks de documentaire Keep On Keepin on, waarin Terry vier jaar wordt gevolgd en de relatie tussen deze oude jazz legende en het 23-jarige blinde pianotalent Justin Kauflin centraal staat. De documentaire werd vertoond op het IDFA in Amsterdam.
Clark Terry beïnvloedde trompettisten als Miles Davis en was een pionier van de bugel in de jazz. Op dit instrument begon hij zich in de jaren zeventig te concentreren. Hij componeerde meer dan tweehonderd songs en schreef verschillende boeken over trompetspelen. Hij maakte en speelde mee op honderden platen. Hij kreeg driemaal een Grammy Award-nominatie, en won er een. In 2010 kreeg hij een Grammy Lifetime Achievement-award. Al vroeg in zijn carrière spande hij Terry zich in om jongeren die in de jazz verder wilden een duwtje te geven. Hij kocht instrumenten voor ze en gaf les, en zijn activiteiten op dit gebied leidden uiteindelijk tot Jazz Mobile in Harlem. Hij kreeg meerdere (16) eredoctoraten, speelde voor zeven Amerikaanse presidenten en verwierf een plaats in de Kansas City's Jazz Hall of Fame.