Larousse fikk lærerutdanning i Versailles og var lenge lærer i provinsen, senere i en opplæringsanstalt i Paris der han traff Augustin Boyer (1821−1896). De gikk i kompaniskap og grunnla i 1852 forlaget Librairie Larousse et Boyer. Larousse gav med stort hell ut sine egne og andre forfatteres lærebøker på forlaget.
I 1856 publiserte han med hjelp av François Pillon ordboka Nouveau dictionnaire de la langue française, forløperen til Petit Larousse. Hovedverket er Grand Dictionnaire universel du XIXe siècle (1866 – 1876) i 15 bind med supplementsbind i 1878 og 1887. Etter Larousses død i 1875 ferdigstilte nevøen Jules Hollier verket. Larousse søkte å bygge verket på grunnlaget til Diderot og d'AlembertsEncyclopédie og med sin klart antiklerikale profil havnet verket på den katolske kirkasliste over forbudte bøker.