E' il portiere che ha subito il maggior numero di gol da parte di Zlatan Ibrahimovic, avendo subito ben 16 reti dallo svedese in carriera.
Carriera
Club
Cresciuto nelle giovanili del Monaco, il 1º luglio 2005 Ruffier venne aggregato alla prima squadra e il giorno seguente venne mandato in prestito all'Aviron Bayonnais in Championnat National (3ª divisione francese di calcio).
Monaco
Il 30 giugno 2006, dopo aver raccolto 38 presenze ed aver subito 41 reti con la maglia dell'Aviron Bayonnais, tornò al Monaco in cui militò per 5 stagioni.
Saint-Étienne
L'11 luglio 2011, a seguito della clamorosa retrocessione del Monaco in Ligue 2, si trasferì al Saint-Étienne per una cifra intorno agli 8 milioni di euro.[1] Rifiutò un'offerta proveniente dal Manchester City che non gli avrebbe offerto lo stesso spazio che gli sarebbe stato offerto dalla squadra biancoverde.[2] Il 4 gennaio 2021, dopo aver difeso i pali della porta biancoverde per 10 stagioni, la dirigenza, a causa del procedimento disciplinare a suo carico dopo screzi avvenuti con la società stessa, comunica con rammarico all'estremo difensore la decisione di rescindere anticipatamente il proprio contratto in scadenza il prossimo 30 giugno 2021.[3]
Dopo il ritiro
Il 13 gennaio 2021 firma con Aviron Bayonnais Football Club, squadra nella quale è cresciuto, come educatore dell'accademia portieri della squadra, ponendo così fine alla sua carriera di calciatore.