A cég eredete 1888-ra nyúlik vissza, a Columbia Phonograph Company megalakulásáig. Ennek anyavállalatát, az American Record Corporationt1938-ban felvásárolta a Columbia Broadcasting System (CBS), amit korábban a Columbia Phonograph Company alapított, de később eladta.
A CBS-nek csak az Egyesült Államokban és Kanadában volt joga a Columbia név használatához. A Columbia Phonograph Companynek voltak nemzetközi alvállalatai és társcégei is, például az Egyesült Királyságban a Columbia Graphophone Company, de ezeket már azelőtt eladták, hogy a CBS felvásárolta az amerikai Columbiát, ezért a cég 1961-ben alapított nemzetközi ága a CBS Records nevet használta. 1968 márciusában a CBS és a Sony megalakította a CBS/Sony Records japán vállalkozást.[1] Mivel a Sony a CD-technológia egyik kifejlesztője, a Sony és a CBS Japánban közösen CD-gyárat épített. Így a CBS 1983-ban egyike volt az első cégeknek, akik CD-ket kezdtek kiadni az amerikai piacon.[2]
1987. november 17-én a Sony Corporation of America kétmilliárd dollárért felvásárolta a CBS Recordsot. A CBS Inc., immár CBS Corporation megtartotta a CBS név használatának jogát zenei kiadványokhoz, de ideiglenes engedélyt adott a Sonynak a név használatához. A CBS Corporation2006-ban új CBS Recordsot alapított.
A Sony Music Entertainment születése
Az 1988-as felvásárlás feltételeinek megfelelően a Sony 1991. január 1-jével átnevezte a céget Sony Music Entertainmentre (SME).[3] Ugyanekkor világszerte bevezette a korábban csak az USA-ban és Kanadában használt Columbia cégnevet, miután 1990-ben megvette a védjegyhez fűződő jogokat az EMI-től.[3]Japán az egyetlen ország, ahol a Sonynak nincs joga a Columbia név használatához, mert az a tőlük független Columbia Music Entertainmenté. Így a Sony Music Japan nem használja ezt a nevet azokon a felvételein, amelyek Japánon kívül készültek, de Japánban jelentették meg őket. Spanyolországban szintén egy másik cégé, a BMG néven jobban ismert Bertelsmann Music Groupé volt a Columbia Records védjegy, de ezt a Sony Music megszerezte, miután 2004-ben közös vállalkozásba fogott a BMG-vel, majd 2008-ban felvásárolta.