C'est en 1963 que Ben Yahia entre au ministère des Affaires étrangères pour y occuper d'abord le poste de chef de division de l'Afrique anglophone avant de devenir le patron de la division de la coopération économique avec les États-Unis. En 1967, il est nommé conseiller économique à l'ambassade de Tunisie à Washington puis à l'ambassade de Tunisie en France avant de regagner Tunis en 1973 pour prendre la tête de la division de la coopération financière bilatérale[1]. Ensuite, il est désigné comme chef de cabinet du ministre des Affaires étrangères.
De retour en 1988, il est affecté auprès du ministre des Affaires étrangères comme secrétaire d'État avant d'occuper trois ans plus tard, en février 1991, le fauteuil du ministre[1]. En janvier 1997, il prend le portefeuille de la défense nationale avant de retrouver le ministère des Affaires étrangères lors de la formation du gouvernement de Mohamed Ghannouchi en novembre 1999[1]. En novembre 2004, il quitte le gouvernement à la suite d'un remaniement ministériel.
L'année suivante, le , il est condamné par contumace à cinq ans de prison ferme pour avoir autorisé, en 1997, la cession d’un terrain militaire au président Ben Ali pour la construction de son palais[7]. Son procès coincidant avec les funerailles de son frère, il n'assiste pas au procès[8].