La seva infantesa va transcórrer en el camp lleonès, on treballava al costat del seu pare. Quan va obtenir suficients diners va decidir independitzar-se, emigrant a Salamanca, en la qual va raure tres anys durant els quals va treballar en grups de teatre.
Dos anys més tard, en estrenar simultàniament Canción de cuna, Días contados i El detective y la muerte va quedar consagrat. En poc menys de dotze mesos aconseguí el Premis Ondas, el Fotogramas de Plata i el Goya al millor actor, així com el reconeixement de la Unión de Actores. En la primera es va posar a la pell d'un home benestant que treia una adolescent del convent, en el qual va ser abandonada, per casar-se amb ella.
El 1994 va néixer la seva filla Laura. I per això va limitar el seu treball a dues pel·lícules en rols secundaris que corresponen a la seva imatge d'home senzill, planer i humil. En la primera Territorio comanche, es va posar a la pell d'un càmera de televisió obsessionat amb captar la imatge d'un pont que sucumbís a l'impacte de les bombes en plena Guerra dels Balcans. En la segona Secretos del corazón, va interpretar un home que es va convertir en l'amant de la seva cunyada i en el pare d'un nen, que ajuda a superar els seus terrores infantils. L'esmentat film va obtenir una candidatura a l'Oscar a la millor pel·lícula de parla no anglesa.
El 1996 va rodar dues pel·lícules amb Emma Suárez a les ordres de Pilar Miró. En la primera El perro del hortelano, es va enfrontar a la dificultat de recitar el vers. En la segona Tu nombre envenena mis sueños, basada en la novel·la de Joaquín Leguina Herrán, va encarnar un detectiu que es veu obligat a recordar el seu passat en plena postguerra espanyola. Els esmentats treballs són recompensats de nou amb el Fotogramas de Plata i el premi de la Unión de Actores, així com una candidatura als Premis Goya. L'any 1998, Imanol Uribe, el realitzador de Días contados, el va contractar de nou per protagonitzar Extraños, on va donar vida a un esquizofrènic. L'any següent Manuel Gómez Pereira el va cridar per encapçalar Entre las piernas al costat de Victoria Abril i Javier Bardem, thriller sobre uns personatges addictes al sexe.
Gómez va optar per tercera vegada al premi Goya per El portero el 2000, on interpretava un ex-porter del Reial Madrid que es guanya la vida de poble en poble reptant als vilatans que li facin un gol de penal. De 2000 a 2004 només va intervenir en unes quantes pel·lícules, entre elles El viaje de Carol i Nos miran. En la primera va interpretar l'oncle de Carol, orfe; un home que malgrat compartir la causa franquista és capaç de perdonar la vida al pare de la nena, un brigadista internacional.
A finals de 2004 va estrenar, dirigit per Josep Maria Flotats, l'obra teatral La cena, on dos personatges de l'Antic Règim decideixen el futur de la França postrevolucionària al llarg d'una nit en la qual s'humilien i estableixen certa dialèctica sobre el poder. El personatge defensat per Gómez era un home que tirava dels seus arxius per poder pressionar els seus contrincants, i els mètodes expeditius del qual eren coneguts a tot França. L'actor va collir candidatures als Premis Max, Fotogramas de Plata i Unió d'Actors.
Va compaginar la gira amb un petit paper a la pel·lícula El método, faula sobre el feixisme que nia al mercat laboral, i basada en l'obra teatral de Jordi Galceran. Malgrat la seva breu comesa, l'Acadèmia de Cinema li va recompensar amb el Goya al millor actor secundari per encarnar a un supòsit executiu d'admirable passat que era eliminat en una de les proves. El 2005 va protagonitzar el thrillerLa noche de los girasoles, al costat de Mariano Alameda i Celso Bugallo. En ella va encarnar un espeleòleg que assassinava un home que pressuposava culpable de l'intent de violació de la seva xicota; crim del qual quedaven impunes. El Círculo de Escritores Cinematográficos li va recompensar amb una candidatura a les seves medalles. A finals de 2006 es va produir la seva retrobada cinematogràfica amb Gonzalo Suárez a la pel·lícula Oviedo Express, una variació de La Regenta, protagonitzada per Aitana Sánchez-Gijón, Maribel Verdú i Silvia Marty.