Der Sohn eines Angestellten der Manufacture nationale d’armes de St-Etienne (kurz MAS) und einer Lehrerin zeigte sehr früh Interesse an der Musik. Seit seinem 4. Geburtstag, an dem er einen Plattenspieler geschenkt bekam, hörte er bevorzugt die Lieder der Compagnons de la chanson und der peruanischen Sängerin Yma Sumac.
Im Alter von 13 Jahren trat er als Lehrling in die MAS ein. In seiner Freizeit widmete er sich dem Boxsport. Wegen Diebstahls zu einer Gefängnisstrafe verurteilt, begann er nach seiner Entlassung zu arbeiten, brachte seiner Tätigkeit aber keinerlei Interesse entgegen und schrieb später: „In dieser Periode meines Lebens suchte ich mich selbst: ich wusste nicht, ob ich Gangster, Boxer oder Dichter sein würde“[1].
1963 schrieb er sich in die Parti communiste français (PCF) ein. 1965, im Alter von 19 Jahren, reiste er nach Brasilien, kam im darauffolgenden Jahr nach Frankreich zurück und wurde dort wegen Fahnenflucht ein Jahr in der Festung von Metz inhaftiert.
Nach seiner Entlassung trat er in verschiedenen Kabaretts und in der Cour des Miracles in Bordeaux als Chansonnier auf und brachte 1967 seine erste Single heraus. Ein erster Erfolg stellte sich mit dem Prix de la rose d’or de la chanson ein, mit dem er in Montreux für das Chanson La Frime prämiert wurde. Seine erste LP wurde 1968 unter dem Pseudonym Lavilliers produziert. Während der Studentenrevolution vom Mai 68 sang Lavilliers in der Umgebung von Lyon in besetzten Fabriken. Im Juni hielt er sich als Bettler in der Bretagne auf, bevor er mehreren Gelegenheitsbeschäftigungen in Nachtklubs und im Gaststättengewerbe nachging.
In den darauffolgenden Jahren brachte er mehrere Alben heraus (Les poètes 1972, Le Stéphanois) und triumphierte im Oktober 1977 anlässlich seines ersten Bühnenauftrittes in der legendären Pariser Music-HallOlympia. Er richtete seinen Wohnsitz in Saint-Malo ein, wo er ein Boot erwarb, ging aber schon bald wieder auf Reisen, die ihn nach Jamaika, New York und Brasilien führten. Nach Frankreich kehrte er in dieser Zeit nur zu seinen Konzerten zurück.
In den 1980er Jahren gelang dem Sänger endlich der Durchbruch. Er erreichte einen hohen Bekanntheitsgrad, nahm auch seinen ungezügelten Lebenswandel in die Hand, blieb aber seinem Image eines Weltenbummlers, Abenteurers und Rebellen treu, das er auch in seinen Chansons vermarktete. Er gab selber an, Drogen genommen zu haben, ein Thema, auf das er in mehreren Chansons einging, wie Berceuse pour une shootée und Sax'Aphone.
1992 trat Lavillers anlässlich der Fête de l’Humanité gemeinsam mit Léo Ferré, dem Idol seiner Jugend auf. Wie schon 1991 bei der Schließung des Stahlwerkes in Uckange, so trat auch Ende 2011 der Sänger in einer Solidaritätsveranstaltung vor den durch Schließung bedrohten ArcelorMittal-Beschäftigten in Florange auf.[2]
Lavilliers erstgeborene Tochter trägt den Namen Anne-Laure (* 1968).
Aus seiner 1970 mit Evelyne geschlossenen Ehe gingen zwei Kinder hervor: Virginie (* 1972) und Guillaume (* 1975), der seinen Vater gelegentlich auf der Bühne begleitet.
Ende der 1970er, Anfang der 1980er Jahre war der Künstler mit der Bodybuilding-Weltmeisterin Lisa Lyon liiert.
1984 heiratete er Melle Li. Der Tochter Salomé (* 1987), die beispielsweise 1996 im Palais des Sports gemeinsam mit ihm auftrat, widmete er ein gleichnamiges Chanson.