Jeffrey David Fahey est né le à Olean, dans l'État de New York. Il est le sixième fils d'une fratrie de 13 frères et sœurs. Sa mère, Jane, était femme au foyer, et son père, Frank Fahey, a travaillé dans un magasin de vêtements. Jeff a été élevé à Buffalo. Il quitte la maison à l'âge de 17 ans et fait de l'auto-stop qui l'amènera en Europe, il travaille en Israël.
En 1985, il a obtenu son premier grand rôle au cinéma, en jouant Tyree dans Silverado. En 1986, il a joué dans Psycho III dans le rôle de Duane duc, un guitariste désespéré. Cette même année, Fahey est en guest star sur Miami Vice saison 3.
Fahey est apparu comme casse-cou dans un épisode de Psych au début de la troisième saison de l'émission.
Fahey a joué un personnage récurrent, Frank Lapidus, pilote d'avion et pilote d'hélicoptère pour l'équipe de recherche envoyée sur une l'île dans Lost (saison 4 et 5), et en tant que personnage régulier pour la sixième saison.
En 2010, il a joué un rôle majeur dans le film d'action de Robert Rodriguez Machete.
En 2013, une nouvelle production de la pièce classique Douze hommes en colère a eu lieu à Londres, jusqu'en . Fahey a joué le rôle du dernier juré. D'autres acteurs notables apparaissent dans cette production : Martin Shaw qui joue le juré numéro 8 (un rôle rendu célèbre dans le film de 1957 par Henry Fonda), Robert Vaughn et Nick Moran.
Le travail humanitaire de Jeff Fahey a tourné autour du Comité américain pour les réfugiés et les immigrants, dans lequel il a mis l'accent sur le sujet de l'entreposage, une pratique dans laquelle les droits et la mobilité des réfugiés est limitée par un pays d'accueil.
