Figlio di Ferdinand Hermite, ingegnere in una miniera di sale, e di Madeline Lallemand, Charles era il sesto di sette figli. La famiglia si trasferì a Nancy per gestire una merceria nel 1828.
In gioventù lesse molti scritti di Lagrange sulle soluzioni numeriche di equazioni e di Gauss sulla teoria dei numeri. Risale al 1842 il suo primo contributo alla matematica, pubblicato in Nouvelles Annales de Mathématiques, dove dimostrò la proposizione di Abel riguardo all'impossibilità di ottenere soluzioni algebriche per equazioni di quinto grado.
Nel 1842 entrò all'École, dove rimase come studente per poco tempo. Dopo un anno gli fu rifiutato il diritto di continuare gli studi a causa della sua disabilità (l'École è ancor oggi un'accademia militare). Lottò per riottenere il suo posto, ma gli vennero imposte severe condizioni che Hermite rifiutò, senza laurearsi.
Dopo aver studiato per cinque anni privatamente, affrontò e superò l'esame di baccalaureato nel 1847.
In quel periodo entrò in contatto con matematici quali Joseph Liouville, Joseph Bertrand e Carl Jacobi; questo gli permise nel 1844 di inserire nell'edizione completa dei lavori di Jacobi due suoi articoli, uno riguardo all'estensione del teorema di Abel sulle funzioni ellittiche alle funzioni abeliane, l'altro sulle trasformazioni di funzioni ellittiche.
Sposò la sorella di Joseph Bertrand, Louise Bertrand, nel 1848.
Nello stesso anno Hermite ritornò all'École polytechnique come esercitatore ed esaminatore di ammissione.
Nel 1869 succedette a Jean-Marie Duhamel come professore di matematica, sia all'École polytechnique (dove rimase fino al 1876) sia presso la Facoltà di Scienze dell'Università di Parigi, posto che mantenne fino alla morte. Dal 1862 al 1873 fu lettore anche presso l'École normale supérieure.
Al settantesimo compleanno, in occasione dei festeggiamenti in suo onore organizzati alla Sorbona sotto gli auspici di un comitato internazionale, ricevette l'onorificenza di Grand'Ufficiale della Legion d'onore.
