Na zijn legerdienst in de Tweede Wereldoorlog werd hij aangenomen door het platenlabel Columbia als hun huisarrangeur, en hij werkte met diverse artiesten, onder wie Johnnie Ray, Frankie Laine, Rosemary Clooney, Guy Mitchell en Marty Robbins. In 1954 schreef hij een arrangement voor Don Cherry's Band of Gold, waarvan miljoenen exemplaren werden verkocht. Hij kreeg hierdoor de kans om zijn eigen album te maken, en dit werd het succesvolle 'S Wonderful! - een collectie bekende nummers met een orkest en een refrein met slim gemixte stemmen zonder woorden die soms werden gebruikt als extra instrumenten. In dezelfde stijl bracht hij daarna 'S Marvelous en 'S Awful Nice uit.
Tussen 1957 en 1968 had hij 28 albums in de Amerikaanse Top 40, waaronder Somewhere My Love waarvan miljoenen exemplaren werden verkocht. De titeltrack van het album (ook wel "Lara's Theme"), geschreven voor de film Doctor Zhivago (1965), kwam ook in de singles top 10 terecht in de Verenigde Staten.
In 1969 stond hij bovenaan de albumhitlijst in het Verenigd Koninkrijk met His Orchestra, His Chorus, His Singers, His Sound, en was in 1974 de eerste Amerikaanse populaire artiest die muziek opnam in Rusland: hij maakte Ray Conniff in Moscow met medewerking van een lokaal koor.
Zijn latere albums, waaronder Exclusivamente Latino, Amor Amor en Latinisimo, maakten hem populair onder zijn grote Latijns-Amerikaanse aanhang. Hij verzorgde optredens tot aan zijn dood op 85-jarige leeftijd in oktober 2002, waarna hij werd begraven op de Westwood Village Memorial Park Cemetery in Westwood (Californië)..
In Nederland had hij onder zijn eigen naam maar één succesvolle single: Harmony in 1973/1974.
