Născut în Rouen, s-a mutat la Londra în 1568 împreună cu părinții săi hughenoți, Peter și Epiphany Oliver, pentru a scăpa de Războaiele religioase din Franța. Apoi a studiat pictura portretistică miniaturală sub celebrul, în epocă, Nicholas Hilliard, după care și-a dezvoltat un stil naturalist propriu, care a fost în mare parte influențat de arta italiană și de cea flamandă.
Prima sa soție, Elizabeth, a murit în 1599. Cu ea l-a avut pe Peter Oliver, care a fost, de asemenea, eminent în pictura în miniatură. În 1602 s-a căsătorit cu Sara, fiica cunoscutului portretist Marcus Gheeraerts cel Bătrân (circa 1520 — circa 1590) și al soției sale, Susannah de Critz. Susannah a fost fiica lui Troilus de Critz, un aurar din Anvers și rudă apropiată a lui John de Critz, cu funcția importantă de Pictor Serjent al Reginei (Elizabeth I). Susannah a fost, de asemenea, sora mai mare sau verișoara lui Magdalen de Critz care s-a căsătorit cu Marcus Gheeraerts cel Tânăr (1562 — 1635).
Parte din lucrările pictorului sunt găzduite în Castelul Windsor. Unele dintre desenele sale în peniță se află expuse în Muzeul Britanic (British Museum).
Galerie
Portrete miniatură
Portreul unui domn tânăr (Portrait of a Young Gentleman) (este posibil ca portretul să fie a lui Sir Philip Sydney), 1605
Femeie necunoscută costumată pentru un spectacol de tip masque — Unknown Woman in Masque Costume, 1609