Né le à Moscou, Aleksey Zubov est autodidacte en tant que musicien[2]. Il joue de la clarinette dans la fanfare de l'Université d'État M. V. Lomonosov de Moscou, où il étudie la physique (diplôme en 1958), et du saxophone ténor dans le big band du Tsentral'ny Dom Rabotnikov Iskusstva (Maison centrale des artistes ; 1954-7)[2]. En 1956, il rejoint l'octuor Vosmoyrka, à l'époque le meilleur groupe de jazz à Moscou[2].