Nato da famiglia della piccola borghesia, il padre Pierre era un conciatore di pellame e sindaco del piccolo comune di Saint-Étienne-de-Saint-Geoirs che in gioventù era stato fervente rivoluzionario. Rimasto vedovo nel 1793, si risposò l'anno seguente con Marguerite Isérable, dalla quale ebbe i figli Joseph e Emile.
Probabilmente per assicurargli un'istruzione altrimenti non accessibile alle famiglie di modesta condizione, come era uso all'epoca, Joseph fu avviato alla vita ecclesiastica, ma prima di prendere i voti comprese che il sacerdozio non era fatto per lui e decise di abbandonare il seminario. Nel 1823 si arruolò nella Guardia Reale iniziando la carriera militare da semplice soldato.
Il 3 dicembre 1850 si sposò con Amélie Lourmand, trentaquattrenne figlia di un commerciante di Nantes, dalla quale ebbe l'unico figlio Georges, morto all'età di sette mesi. Convinto bonapartista, nel 1851 appoggiò il colpo di Stato di Napoleone III, contribuendo a soffocare la flebile rivolta repubblicana nei comuni della Vaucluse.
Nel 1852, promosso colonnello, fu incaricato di costituire il 2º reggimento Zuavi, del quale ebbe il comando fino al 1853, quando venne nominato generale di brigata e inviato con il corpo di spedizione francese nella guerra di Crimea. Si distinse particolarmente nella battaglia di Malachov e nell'assedio di Sebastopoli, ricevendo il grado di generale di divisione, il 22 settembre 1855.
Tornato in Patria, nel 1865 fu posto a riposo per raggiunti limiti d'età e nominato senatore, ma fu richiamato in servizio attivo nel 1870, dopo le prime disastrose fasi della guerra franco-prussiana, e posto al comando del XIII corpo d'armata. La partenza per il fronte fu immediatamente seguita dalla disfatta di Sedan e Vinoy indirizzò immediatamente le truppe alla difesa della capitale, dirigendo i combattimenti nella zona Sud durante l'assedio di Parigi.