Nach Joseph Heybergers Tod 1892 war er vorübergehend Chorleiter der Société des Concerts du Conservatoire, dann wurde er chef de chant an der Pariser Oper, 1900 wechselte er zur Opéra-Comique. Er leitete die erste Klasse für Vokalensemble am Conservatoire de Paris und wurde dann Professor für Harmonielehre.
Von 1901 bis 1908 war er als Nachfolger von Paul Taffanel Chefdirigent des Orchestre de la Société des Concerts du Conservatoire, seit 1905 außerdem Leiter der Fondation Beaulieu. Als Chef der Société des Concerts führte er die großen Oratorien und Opern der Barockzeit auf (darunter Johannespassion, Magnificat und Weihnachtsoratorium von Bach und Saul von Händel, auch rekonstruierte Werke von Rameau), aber auch HaydnsSchöpfung und Jahreszeiten, MozartsRequiem, Saint-Saëns’ La Lyre et la Harpe und FrancksLes Béatitudes. Im Laufe der Jahre kamen Werke von Richard Wagner (Siegfried-Idyll), Edvard Grieg (Holberg-Suite), Johannes Brahms (Klavierkonzert) und Gabriel Fauré (Pavane) hinzu.
Martys kompositorisches Schaffen trat nach 1900 hinter seiner Tätigkeit als Dirigent zurück. Aufgeführt werden von seinen Werken noch häufig die Ouvertüre zu der Oper Balthazar und Les Saisons, eine Orchestersuite mit Chören, außerdem auch für die Wettbewerbe am Conservatoire komponierte Klarinettenstücke.