Piven besuchte nach seinem High-School-Abschluss an der Evanston Township High School die Drake University in Des Moines, Iowa. Er gehörte zum Ensemble des Piven Theatre Workshop, die von Pivens Eltern Byrne Piven und Joyce Hiller Piven gegründet wurde. Piven trat in mehreren Filmen an der Seite seines engen Freundes und Schauspielerkollegen John Cusack auf. Cusack und seine Schwestern Joan und Ann gehören ebenfalls zu den Absolventen des Piven Workshops.
Eine von Pivens frühen Rollen war Spike in Lucas (1986). Pivens erste wichtige Rolle kam 1992, als er regelmäßig auf HBOsDie Larry Sanders Show den Hauptautor Jerry spielte. Er verließ die Show in der zweiten Staffel. 1993 porträtierte er George Costanza in der Show-within-a-Show-Szene in der Seinfeld-Episode The Pilot. Piven war ab 1995 Ensemblemitglied in den letzten drei Staffeln der ComedyserieEllen mit Ellen DeGeneres in der Hauptrolle. Er war auch der Star und Produzent der kurzlebigen ABC-Dramenserie Cupid und sprach Elongated Man in drei Episoden von Justice League Unlimited.
Piven spielte von 2004 bis 2011 die Rolle des Schauspielagenten Ari Gold in der HBO-Serie Entourage, eine Rolle, für die er viermal für den Emmy nominiert wurde und dreimal in Folge gewann. 2015 ließ er die Rolle in dem gleichnamigen Kinofilm nochmals aufleben. 2008 wurde er für diese Rolle mit einem Golden Globe Award als Bester Nebendarsteller ausgezeichnet. Piven war vorher bereits in der kurzlebigen ABC-Drama-Serie Cupid zu sehen. Im Musikvideo zu Drivin' Me Wild von Common, mit welchem er gemeinsam in Smokin’ Aces spielte, hat Piven einen Kurzauftritt. Am 3. August 2009 hatte er einen einmaligen Auftritt bei WWE Monday Night RAW als „Special Guest Host“. Seit 2013 spielt er die Hauptrolle in der britischen Fernsehserie Mr Selfridge.
↑Presseheft Spy Kids 4D vom 30. April 2012, S. 23: "Piven wuchs in seiner Geburtsstadt Chicago auf, wo seine Eltern auch die renommierte Schauspielschule Piven Theatre Workshop gründeten und leiteten. Zu den Schülern von Jeremys Vater Byrne gehörten Schauspieler wie John und Joan Cusack, Rosanna Arquette oder Aidan Quinn. Jeremy ist weiterhin aktiv für den Workshop und erhält den Traum seines Vaters am Leben."
