Több éven át egy Rhythm and blues bandában játszott, ezután pedig Lionel Hampton, Johnny Hodges és Art Blakey együtteseiben. Az Art Blakey and the Jazz Messengers 1958-ban rögzítette a klasszikussá vált Moanin-lemezt, amely számos Golson által írt dalt számot tartalmaz.
Amikor az egyik kollégája, akit Lionel Hampton zenekarából ismert, Clifford Brown meghalt, megírta az I Remember Clifford című dzsessz-sztenderdet. Megírta a Killer Joe, a Whisper Not, az Along Came Betty, a Stablemates és az Are You Real? című dalokat is, amelyeket ma is játszanak.
1959-től 1962-ig Golson és Art Farmer vezette a The Jazztet, amellyel több rangos albumot is felvettek.
2004-ben Tom Hanks-szel szerepelt a Terminál című filmben.
Olyan tévésorozatoknak és filmeknek is dolgozott, mint a MASH, Mannix, Mission Impossible, valamint olyan cégek reklámjaihoz írt zenét, mint például a Chevrolet, Gilette, Heinz, Mattel, Texaco...