Az 1950-es évek végén kezdte pályafutását, többnyire televíziós sorozatok epizódszerepeiben tűnt fel. 1961-ben A napfény nem eladó című film mellékszerepével debütált a mozivásznon. Ezután több mint tíz éven át csak televíziós filmekben kapott munkát, majd a Gyökerek című tévésorozat hozta meg számára az ismeretséget 1977-ben.
1982-ben az ifjú Richard Gere főszereplésével készült Garni-zóna című filmben tűnt fel. Egy kemény kiképzőtisztet formált meg, mellyel kivívta a kritikusok elismerését és elnyerte a legjobb férfi mellékszereplőnek járó Oscar-díjat. Ezzel rögvest a rivaldafénybe került: a következő évben azonban a Cápa 3.-ban vállalt szerepet, a mozi viszont hatalmasat bukott.
1983-ban kapta meg az Anvar Szádát egyiptomi politikusról készült Sadat című amerikai minisorozat főszerepét, melyet az egyiptomi kormány betiltott, tiltakozva az ellen, hogy egy fekete színész játssza az elnök szerepét. Továbbra is megmaradt az örök epizodista szerepkörében, viszont az 1980-as évek végére elismert karakterszínészként tartották számon – köszönhetően olyan filmeknek, mint a Kedves ellenségem (1985) és a Vasmadarak (1986). Ez utóbbi mozi három folytatást is megélt, azonban ezek elmaradtak az első rész színvonalától.
1993-ban az Afrikai koktél című filmben Sean Connery-vel játszott együtt, a film azonban nagy csalódást keltett, és innentől kezdve Gossett karrierje is mélyrepülést vett. Sorra vállalt munkákat csak DVD-re kiadott, kis költségvetésű, felejthető filmekben.