Sandy Mosse apprend la musique avec le saxophone alto et la clarinette, avant de passer au saxophone ténor. En 1951, il est en Europe et enregistre pour Henri Renaud et Django Reinhardt. En 1953, il rejoint l'orchestre de Woody Herman, alors en tournée sur le vieux continent. En 1955, il retourne aux États-Unis et s'installe à Chicago. Il enregistre pour Argo Records sous son propre nom et avec Cy Touff.
Dans les années 1970, son épouse néerlandaise, le convainc de partir dans son pays d'origine. Il réside jusqu'à sa mort à Amsterdam, où il joue avec les musiciens de la scène locale de jazz. Il fait des séjours à Chicago, pour jouer, par exemple, en compagnie de Zoot Sims et Al Cohn.
