Odrastao kao sin američkog rabina i stjuardese El Ala, Chertoff uz američko ima i izraelsko državljanstvo. Godine 1978. diplomirao je pravo na Harvardu, a od 1980. se bavio privatnom advokatskom praksom. Godine 1983. je postao federalni tužilac, i zajedno s Rudolphom Giulianijem vodio procese protiv njujorškihmafijaša.
Godine 1994. Chertoff je postao privatni advokat, da bi nešto kasnije sudjelovao u senatskoj istrazi vezanoj uz skandal Whitewater skandal, zbog čega se zamjerio tadašnjoj prvoj dami Hillary Clinton. Godine 2000. je u državi New Jersey, gdje živi, sudjelovao u istrazi rasnog profiliranja od strane tamošnje policije.
Godine 2003. je postao sudac federalnog suda. Nakon što je Tom Ridge bio najavio ostavku, 11.1.2005. imenovan je, a 15.2. 2005. od Senata potvrđen kao novi sekretar za domovinsku sigurnost. Na tom je mjestu doživio brojne kritike zbog slabog reagiranja na uragan Katrina.