El bronce David es una de sus obras más conocidas. El héroe bíblico se muestra desnudo, con la cabeza de Goliat a sus pies, como el David de Donatello, pero lleva un turbante y está envainando su espada. Esta escultura pronto será expuesta en el parque Montholon en París. Existen numerosas reproducciones, la mayoría de las cuales incorporan una prenda cubriendo la zona genital, aunque no las nalgas. La escultura original se encuentra en el Museo de Orsay.
El genio de las artes (1877), un bajorrelieve, está en las Tullerías, en sustitución del Napoleón III de Antoine-Louis Barye. Un trabajo similar para la tumba de Jules Michelet (1879) se encuentra en el cementerio parisino de Père-Lachaise. El mismo año, Mercié esculpió la estatua de Arago y los bajorrelieves asociados, visibles actualmente en Perpiñán.
En 1882 repitió el éxito obtenido en 1874 con el bronce Gloria Victis con el grupo Quand Même!, del cual se halla una réplica en Belfort y otra en el jardín de las Tullerías. Las dos obras rememoran la guerra franco-prusiana de 1870. Le souvenir (1885), una estatua en mármol para la tumba de madame Charles Ferry, es una de sus obras más impecables. Regret, para la tumba de Alexandre Cabanel, fue llevada a cabo en 1892, al igual que Guillermo Tell, en la actualidad en Lausana.
Gracias a otras muchas estatuas, así como bustos y medallones, le fue concedida la medalla de honor durante la Exposición Universal de París de 1878 y el grand prix en la de 1889. Entre las pinturas expuestas por el artista se encuentran una Venus con la que obtuvo una medalla en el Salón en 1883, Léda (1884), y Miguel Ángel estudiando Anatomía (1885), su trabajo más expresivo en este terreno.
En 1891 le fue asignado el puesto de profesor de Diseño y Escultura en la Escuela de Bellas Artes y elegido miembro de la Academia francesa, y posteriormente le fue concedido el grado de gran oficial de la orden de la Legión de Honor y en 1913 fue nombrado presidente de la sociedad de artistas franceses.