Desde la infancia manifestó excepcionales dotes por la música, y, tras haber quedado huérfano a los 5 años, entró como niño del coro en la iglesia del Salvador de Aix-en-Provence. Cuando perdió la voz, fue enviado al colegio de jesuitas de Aix, y tras haber sido segundo director del teatro de esta población, en 1829 fue nombrado maestro de capilla del mencionado templo. En 1830 se trasladó a París, donde estudió en el Conservatorio bajo la maestría de François-Joseph Fétis y de François Benoist. Tras un año de estudios incompletos y apresurados, salió del Conservatorio, y su entusiasta y generoso espíritu, junto a la miseria en que vivía, lo impulsaron a abrazar el sansimonismo. En su calidad de compositor creó la liturgia de esta nueva religión y compuso numerosas obras corales.
En 1833, al ser disuelta la asociación, abandonó París con un grupo de correligionarios por ir a Egipto a predicar aquellas doctrinas. En 1835 volvió a Francia, pletórico de impresiones, y se estableció en Igny, localidad cercana a París, publicando primero una colección de melodías orientales para piano, dos sinfonías y algunas obras de música de cámara (Las cuatro estaciones, 24 quintetos para instrumentos de cuerda y dos novenas para instrumentos de viento) que, debido a su retraimiento y retiro completo, pasaron inadvertidos. Finalmente, en 1844 con su oda sinfónica Le Dèsert atrajo la atención del público y de la prensa.
La acertada adaptación de los motivos orientales, la novedad de los ritmos y el exuberancia de la instrumentación hicieron que esta obra fuera considerada como una nueva y afortunada tendencia en la característica musical, digna de las mejores producciones de Hector Berlioz, quien publicó un encomiástico artículo saludando a David como un verdadero maestro. Alentado por el éxito de su obra y con el ejemplo del mismo Berlioz, emprendió en 1845 una gira por el extranjero, interpretando con éxito en varias capitales sus propias producciones. Después probó fortuna repetidamente con varias obras para coro y orquesta (Oratorium Moisés, 1846; Sinfonía coral Columbus, 1847; Misterium Eden, 1848) que no obtuvieron ni de lejos el éxito de Le Dèsert. Además, sus óperas, como por ejemplo La perle du Brésil (1851), Herculanum (1859), Lalla Roukh (1862) y Le Sapier (1865) lograron, pese a los aplausos, un corto número de representaciones.
En 1869 fue distinguido por la Academia Francesa con el premio oficial de 20 000 francos, y a la muerte de Berlioz fue nombrado bibliotecario del Conservatorio y miembro del Instituto. La única obra que le sobrevivió en el aprecio del público fue Le Dèsert, y solo por sus elementos pintorescos y exóticos, porque el público de comienzos del siglo XX, conocedor de las robustas concepciones de los clásicos y de algunos coetáneos de David, como por ejemplo Wagner, Berlioz y César Franck, no podía interesarse demasiado por una música que, pese a tener mérito, pecaba de débil.
Pese a ello, David fue original y tuvo una real influencia en músicos que siguieron sus pasos, como lo demostró César Franck en su Ruth, Georges Bizet en Djamileh y Ernest Reyer en La Statue y, Wasielewski en muchas de sus obras, y otro alumno suyo como Johann Franz Dupont.
