Dél-Franciaországban született, a Pireneusok lábai között fekvő Saint-Béat községben. A hadsereg által fenntartott Prytanée Nemzeti Iskolába járt, mely a katonai akadémia előkészítőjének számított akkoriban.
A kor szokásának megfelelően gyarmati szolgálatra vezényelték. Martinique után Francia-Szudán katonai kormányzója lett, mely során sikerrel verte le a lázadó Mahmadu Lamine felkelését. 1892-től kezdve négy évig Vietnámban szolgált, majd Madagaszkár következett. 1905-ig volt a sziget kormányzója, sikerült békét teremtenie a szigeten.
1911-ben a francia hadsereg főparancsnokának jelölték, de egészségi állapotára hivatkozván elutasította a felkérést. Maga helyett Joseph Joffre-t javasolta. 1914 áprilisában kilépett a hadseregből és nyugállományba vonult. 1914 augusztusában Gallienit visszahívták a hadseregbe, hogy a Párizs felé közelgő német támadás elhárításában működjön közre. Joffre vetélytársának tartotta a betegeskedő Gallienit, igyekezett parancsnoki hatásköreiben korlátozni.
Sikeres védekező taktikája mentette meg Párizst a német ostromtól, amikor szeptemberben a frissen felállított 6. francia hadsereget támadásra küldte a fővárostól keletre a jobbszárnyát védelem nélkül hagyó 1. német hadsereg ellen. Gallieni parancsára a katonákat a párizsi taxik szállították a frontra. 1915-től francia hadügyminiszter. Súlyos veszekedéseket folytatott Joffre-val, főként a Verdun körül követendő védekező taktikáról. Megromlott egészsége vezetett halálához 1916 májusában.