Isaac Oliver sekvis siajn hugenotajn parencojn Pierre kaj Epiphanie Oliver al Londono en 1568, por fuĝi el la religiaj persekutadoj en Francio. Li studis miniaturan arton kun Nicholas Hilliard, kaj disvolvis naturalisman arton, tre influitan de itala kaj flandra arto.
Li edziĝis en 1602 kun Sara Gheeraerts, filino de la fama portretisto Marcus Gheeraerts la pliaĝa (1516-1604) kaj de Susannah de Critz. Li antaŭe havis unuan edzinon, Elizabeth, la patrinon de sia pliaĝa filo Peter Oliver, kiu mem fariĝis eminenta pentristo en la amerikaj kolonioj.