Le Bègue richtte in 1888 samen met Robert Demachy de Photo-Club de Paris op, waarbij zich korte tijd later onder andere ook Constant Puyo en Paul Bergon aansloten. De Photo-Club groeide uit tot het toonaangevende gremium van de kunstfotografie in het Frankrijk van rond 1900 en was vooral toegewijd aan het picturalisme.
Le Bègue werd in 1894 ook lid van de Engelse fotografievereniging Linked Ring. Hij publiceerde op internationale tentoonstellingen en had in 1906 bijvoorbeeld een expositie in Alfred Stieglitz’ 'Galerie 291' te New York.
Behalve in diverse Franse magazines werd werk van Le Bègue gepubliceerd in de fototijdschriften Die Kunst in der Photographie, Camera Notes en Camera Work (twee stuks). Hij fotografeerde veel vrouwfiguren en naakten. In 1898 publiceerde hij het fotoboek Le Nu et le Drapé en Plein Air.