Buffet studeerde aan de École nationale supérieure des beaux-arts en kreeg les van Eugène Narbonne. Hij studeerde samen met o.a. Maurice Boitel. Later ontmoette hij Marie-Thérèse Auffray, die een belangrijke invloed op zijn werk zou hebben. Op 17-jarige leeftijd exposeert hij in een Parijse Galerie en wordt zijn werk positief ontvangen. Zeker in de beginjaren is Buffet internationaal succesvol. Zijn stillevens en Parijse stadsgezichten kunnen worden beschouwd als typisch naoorlogs met het thema armoede en hun indringende uitstraling. Met de duidelijk aanwezige zwarte lijnen en de grijze waas die over de kleuren heen lijkt te hangen sluiten de schilderijen aan bij het existentialisme uit die tijd.
In de jaren vijftig woonde Buffet een aantal jaren samen met zijn minnaar Pierre Bergé, die later een relatie kreeg met Yves Saint Laurent.[1]
In 1958 trouwde Buffet met schrijfster en actrice Annabel Schwob, samen adopteerden ze drie kinderen.
In de jaren zestig, met de opkomst van abstracte kunst, werd zijn werk in kunstkringen omstreden omdat hij ook in de tweede helft van de 20e eeuw altijd aan het figuratieve karakter bleef vasthouden. Buffet bleef echter geliefd bij het publiek en was daardoor commercieel succesvol. Met name in Japan bleef zijn werk populair. Zijn werken worden beheerd door Galerie Maurice Garnier, die zich uitsluitend richt op het werk van Buffet.
Op latere leeftijd leed Buffet aan de ziekte van Parkinson en kon hij niet meer werken. Op 4 oktober 1999 pleegde Buffet zelfmoord in zijn huis in Tourtour.
Vanaf de jaren negentig van de 20e eeuw keert de internationale herkenning voor zijn werk terug. Wereldwijd vinden er in de 21e eeuw overzichtstentoonstellingen van zijn werk plaats. In 2006 organiseerde het Gemeentemuseum in Den Haag een dergelijke tentoonstelling.
