Educat la Liceul pentru băieți Norwich School, Mills a fost pasionat de actoria de la o vârstă fragedă, încurajat de mama sa, fostă administratoare la Haymarket Theatre[10]. S-a mutat la Londra, a intrat într-o companie turistică, făcându-și debutul teatral în 1929 la London Hippodrome în piesa The Five O'Clock Girl unde a fost remarcat de celebrul dramaturg Noël Coward[10]. După ce a jucat în piesa lui Coward Cavalcade, s-a stabilit definitiv ca interpret și a început să primească propuneri pentru marele ecran. Prima sa aparițumită în film datează din 1932, în filmul The Midshipmaid, dar primul său rol de o importanță a fost în filmul Adio, domnule Chips! (1939), ecranizare a romanului omonim al lui James Hilton.
În timpul anilor 1940, Mills a fost un idol al publicului cinematografic britanic, mulțumită unei serii de roluri și personaje militare cu un caracter ferm și hotărât, dar și capabil de sensibilitate și umanitate. Astfel de roluri a jucat în mai multe filme, printre care și de propagandă de război, precum Eroii mării (1942) de David Lean și Întoarcerea lui Sidney Gilliat (1944). Remarcabilă a fost interpretarea sa a rolului tânărului Pip din filmul Marile speranțe (1946), regizat tot de David Lean, film care a a fost bine primită de public[10].
Ajungând spre sfârșitul anilor 1960 în roluri de personaje-caractere la înălțimea carierei sale, a câștigat Oscarul pentru cel mai bun actor de rol secundar, jucându-l pe idiotul nefericit al satului din filmul lui David Lean, Fiica lui Ryan (1970), personaj foarte aparte de cele jucate anterior.
Părintele unei familii de artiști, tatăl actrițelor Hayley Mills și Juliet Mills, în ultima parte a vieții sale, John Mills a fost afectat de grave probleme de vedere, totuși a continuat să lucreze, concentrându-se pe personaje afectate de orbire. Printre ultimele apariții ale sale se numără cele din Cats (1998), o versiune filmată a celebrului muzical omonim de Andrew Lloyd Webber, și cea a vârstnicului profesor de școală, din versiunea teatrală a lui Adio domnule Chips (1982).