Nato a Stamford nel Connecticut, si appassionò ai fumetti nell'estate del 1970. Nell'inverno dello stesso anno, convinse suo padre Tom a comprargli un'intera collezione di fumetti che comprendeva un gran numero di albi Marvel pubblicati tra il 1961 e il 1970. Il suo patrigno era vice-preside della Brandeis University di Waltham, dove Jeph conobbe uno dei suoi mentori nonché ispiratore del suo lavoro di sceneggiatore di fumetti, Elliot Maggin. Si laureò alla Columbia University, dove ha conseguito un Bachelor of Arts e un Master in cinematografia.
Nel 2005 ha firmato un contratto in esclusiva con la Marvel Comics,[2] per la quale ha scritto diverse serie e miniserie fra cui Spider-Man: Blue, Devil: Giallo, Hulk: Grigio, Captain America: White (tutte in coppia con Tim Sale), Ultimates 3, Capitan America: Morte di un eroe, Ultimate Comics: X, un arco narrativo per la serie Wolverine intitolata "Evoluzione" in collaborazione con il disegnatore italiano Simone Bianchi e la nuova serie di Hulk disegnata da Ed McGuinness. Nell'ottobre 2019 Loeb lascia la Marvel Television[3].