À l'origine, cet air est une improvisation de Gounod au piano sur le très célèbre premier prélude du premier livre du Clavier bien tempéré de Bach : Gounod avait improvisé une mélodie évoluant au-dessus des arpèges dont est constituée la partition de Bach. À partir de là, le pianistePierre Zimmermann, futur beau-père de Gounod, réalisa une version pour violon accompagné par un petit chœur. Ce n'est que plus tard que fut réalisé l'arrangement pour violon (ou violoncelle) et piano (ou harmonium), destiné à être joué en concert sous le titre de « Méditation » et publié par Heugel.
Aux côtés de l'Ave Maria de Schubert et d'Offenbach, l'Ave Maria de Gounod est devenu un élément incontournable des funérailles, des messes de mariage et des quinceañeras. Il existe de nombreux arrangements instrumentaux différents, notamment pour le violon et la guitare, le quatuor à cordes, le piano solo, le violoncelle et même les trombones. Des chanteurs d'opéra, tels que Nellie Melba, Franco Corelli et Luciano Pavarotti, ainsi que des chœurs l'ont enregistrée des centaines de fois au cours du XXe siècle.
Plus tard dans sa carrière, Gounod composa plusieurs autres Ave Maria distincts de celui-ci, mais qui n'atteignirent jamais la même célébrité. L'un d'eux, composé en 1883 (CG 97) est conçu selon le même principe, et se base sur un autre prélude de Bach (pour luth BWV 999).
