Figlio di un destinatario delle decime del clero, Vadier divenne, dopo aver studiato con i gesuiti, protettore del vescovo di Pamiers, tenente nel reggimento del Piemonte. Dopo la Battaglia di Roßbach, abbandonò l'arma militare e si concentrò sul funzionamento delle sue proprietà situate nella giurisdizione di Montaut. Venne accusato di corruzione e, in quanto tale, dinanzi al Parlamento di Tolosa, venne condannato nonostante fosse stato difeso da Darmaing, avvocato al quale Vadier portava rancore. Le sue terre che comprendevano il Castello Peyroutet, la terra di Nicol ed il dominio di Belper, gli vennero sequestrate, per un totale di 185 ettari. Nel 1785, Vadier avrebbe dovuto convertire alcuni dei suoi terreni rimastigli in Signorie. Nel 1770, acquisì un consigliere nella sua città natale.
Nell'Aprile1794, fu favorevole sulla repressione del presunto ammutinamento dei detenuti sulla base di false testimonianze; inoltre, sostenne il progetto di Bertrand Barère nel sopprimere tutti i prigionieri di guerra.
Il 14 giugno 1794, Elie Lacoste presentò la sua relazione sul Caso delle camicie rosse, condannando a morte cinquantaquattro persone. Barrere e Vadier denunciarono tale atto criminoso, soprattutto all'estero, dimostrando la "tirannia" di Robespierre; un mese dopo, partecipò alla caduta di Robespierre, parlando ampiamente male di lui ed emanando un decreto d'incriminazione su di lui.
Rilasciato, continuò ad essere riconosciuto come bandito, per questo si ritirò a vita privata scappando a Bruxelles, dove rimase fino alla morte avvenuta nel 1828. Riposa nel Cimitero di Ever, a Bruxelles.