D'origine pachtoune, Abdul Rahim Hatef est le fils d'un célèbre chef religieux. Il est diplômé du lycée Habibi de Kaboul en 1945 et du département de littérature de l'université de Kaboul en 1949.
Entre 1949 et 1951, il est directeur adjoint d'un établissement secondaire avant d'enseigner au lycée Ahmad Shah Baba à Kandahar puis en 1952 à l'école pédagogique supérieure de Kaboul. En 1953, il est nommé responsable du département de publicité et d'édition du système de gestion des travaux d'irrigation de Helmand. Mais cette année-là, il quitte l'administration publique pour se lancer dans des activités publiques et commerciales.
En 1965, il est élu au Parlement. Au cours de l'une des séances, un député tente de frapper Babrak Karmal avec un microphone, mais Hatef s'interpose et reçoit le coup.
Il participe à la Loya Jirga de 1977, organisée par le régime de Mohammed Daoud Khan pour l'adoption d'une nouvelle constitution.
Il collabore activement avec le régime du Parti démocratique du peuple afghan (PDPA) sous les gouvernements Karmal et Najibullah. À partir de 1981, il est membre de la direction du Front national patriotique, une organisation créée à l’initiative du PDPA pour regrouper les partisans non marxistes, appelée plus tard le Front national. De 1985 à 1990, il est président du conseil central du front national. Entre 1986 et 1987, il est membre du Présidium du Conseil révolutionnaire.
