Ascher begann als Fünfjähriger mit dem Klavier; in den 1950ern zog seine Familie nach Atlanta, wo er im Alter von 16 Jahren erste Clubauftritte hatte. Bis 1967 studierte er Arrangement und klassisches Piano, dann studierte er an der Columbia University, wo er den Bachelor, den Master of Arts und den Ph.D. in Komposition erwarb. Von 1962 bis 1964 unterrichtete er Musikgeschichte an dieser Universität; ab 1966 arbeitete er vorwiegend als Studiomusiker in New York, spielte 1966/67 auch in der Woody Herman Band und 1971 kurz bei Art Blakey, dann mit Marvin Stamm und im Thad Jones/Mel Lewis Orchestra. Im Half Note begleitete er Musiker wie Zoot Sims, Ruby Braff, Anita O’Day, Maxine Sullivan und Jimmy Rushing.