Résidant à Molins de Rei, il y fonde le groupement local du PSC et se fait élire conseiller municipal de la ville lors des élections municipales de 1983 et de 1987. Entre 1988 et 2004, il occupe les fonctions de premier secrétaire du PSC dans la comarque de Baix Llobregat. En 2004, sous les mandats de José Montilla et de Pasqual Maragall, il est nommé secrétaire à l'Organisation et aux Finances du PSC en remplacement de Joan Rangel, désigné délégué du gouvernement en Catalogne par José Luis Rodríguez Zapatero. José Zaragoza reste alors en poste jusqu'en 2011 lorsqu'il est remplacé par Daniel Fernández González. Il siège au comité fédéral du PSOE entre 1987 et 1997 puis entre 2009 et 2013.
Il est investi en cinquième position sur la liste présentée par le parti dans la circonscription de Barcelone et conduite par la ministre de la Défense Carme Chacón[2] en vue des élections générales de . Élu au Congrès des députés avec neuf autres collègues, il siège brièvement comme deuxième vice-président de la commission de l'Intérieur avant d'être désigné secrétaire général adjoint du groupe parlementaire et membre titulaire de la députation permanente. Il quitte son poste en lorsqu'il rompt la discipline de vote en votant favorablement à une proposition de résolution demandant l'organisation d'une consultation souverainiste en Catalogne. À cette date, il devient alors porte-parole adjoint à la commission bicamérale du contrôle de RTVE.
Il obtient un nouveau mandat à la suite des élections législatives de auxquelles il concourt en quatrième position[3]. Membre de la commission sur la Sécurité routière et les Déplacements durables, il préside la commission bicamérale de l'Union européenne[4]. Il conserve son siège au palais des Cortes après les élections législatives anticipées de [5] mais perd la présidence de sa commission du fait d'un rapport de force moins favorable aux socialistes et en devient simple porte-parole titulaire. Il est, en outre, choisi comme premier vice-président de la commission des Affaires étrangères. Comme l'ensemble de ses collègues du PSC, il vote contre lors du deuxième vote d'investiture de Mariano Rajoy à la présidence du gouvernement, conformément au mandat délivré par les instances du PSC à ses membres[6].
Le , il est désigné porte-parole adjoint du groupe parlementaire socialiste — un des postes réservés à un représentant du PSC — en remplacement de Meritxell Batet, nommée ministre de la Politique territoriale dans le gouvernement Sánchez I et ayant quitté son mandat de députée[7].