Chaloff est le fils de deux pianistes, Julius Chaloff, et Margaret Chaloff, professeure de piano à Boston et qui a eu entre autres comme élèves Keith Jarrett, Steve Kuhn, Herbie Hancock et Richard Twardzik. Lui-même étudie le piano et le saxophone avant de débuter comme musicien avec Boyd Raeburn et Georgie Auld. Il acquiert une certaine notoriété dès 1945 comme saxophoniste soliste de l'orchestre de Jimmy Dorsey. L'année suivante, il intègre le second orchestre de Woody Herman, dans lequel jouent Stan Getz, Zoot Sims et Herbie Steward, avec lesquels il constitue la section de saxophones, les Four Brothers.
En 1947 il enregistre ses premières pistes comme leader avec Red Rodney, Earl Swope, George Wallington, Curly Russell et Tiny Kahn. En raison de son addiction à l’héroïne, il devient au cours des années suivantes persona non grata sur la scène du jazz.
Vers 1950 Chaloff a l’occasion de jouer à New York avec Bud Powell et Earl Swope, mais aucun enregistrement ne retrace cette période. En 1952 il revient à Boston et joue avec Twardzik. Il intègre le Steve Allen Show et est le leader d'un orchestre de Jazzclub. C'est en 1954 qu'il enregistre le disque The Fabel of Mabel avec Herb Pomeroy et Charlie Mariano et l'année suivante un disque avec Boots Mussulli.
Serge Chaloff memorial we the people Bop , compilation avec Miles Davis, Red Rodney, Charlie Mariano, Al Haig, George Wallington, Oscar Petiford, Chuck Wayne ... (1946 à 1949)
.jpg)
