Efter att först ha utbildat sig till lärare började Jolivet studera för den franske tonsättaren Paul Le Flem och sedan för Edgard Varèse. 1935 debuterade han med Mana, sex stycken för piano. 1936 bildade han tillsammans med Yves Baudrier och Olivier Messiaen gruppen Groupe Jeune France (Unga Frankrike), en grupp som skulle stödja den nya franska musiken. Mellan 1943 och 1959 var han dirigent vid La Comédie-Française, Frankrikes nationalteater, och komponerade mycket tillfällighetsmusik. Mellan 1962 och 1972 var han lärare i komposition vid Pariskonservatoriet (Conservatoire national supérieur de musique et de danse de Paris).
Jolivet är begravd på Cimetière de Montmartre (Montmartrekyrkogården).
Musik
Jolivet använde alla tekniska resurser för att skriva en energifylld musik, ofta modal, med klang och djärv rytmik. Han var särskilt förtjust i att skriva virtuos konsertant musik, bland annat för ett av de allra första elektroniska instrumenten, Ondes Martenot, för trumpet och piano, för flöjt, piano, harpa, fagott och harpa, slagverk och för violin och cello.