Bazille studierte am Conservatoire de Paris, wo er erste Preise in den Fächern Solfège (1841), Harmonielehre (1845), Fuge (1846) und Orgel (1847) erhielt. 1848 gewann er den Ersten Second Grand Prix de Rome.
Zur gleichen Zeit wurde er an die Opéra-Comique engagiert, zunächst als Begleiter, später als Direktor für Gesang. 1853 wurde er Organist an der von der Firma Suret erbauten großen Orgel der Kirche Sainte-Élisabeth. 1878 folgte ihm Pierre Laboureau auf der Stelle nach.
Neben seiner Tätigkeit an der Opéra-Comique und als Organist unterrichtete Bazille am Conservatoire de Paris Klavierbegleitung. Einer seiner Schüler war hier Claude Debussy.
Als angesehener Organist reiste Bazille durch ganz Frankreich und weihte zahlreiche bedeutende Orgeln ein, darunter die Suret-Orgel der Kirche Saint-Médard in Epinay-sur-Seine (1854), die 1861 von Cavaillé-Coll restaurierte Orgel der Kathedrale von Nancy und die von Louis Debierre erbaute Orgel der Abtei Saint-Sauveur in Montivilliers (1884).
Joël-Marie Fauquet (Hgg.): Dictionnaire de la musique en France au XIXe siècle. Fayard, Paris 2003.
Christophe d’Alessandro: Orgues, Musiques et Musiciens à Sainte-Élisabeth, la Flûte Harmonique. Revue de l’Association Aristide Cavaillé-Coll, n°91, 2010.