באוקטובר 1951 מונה לעוזר ראש אג"ם, מרדכי מקלף, וב-1953 מונה לארגון מחלקת אכ"א-פרט באגף כוח אדם, התמנה ב-1955 למפקד חטיבת גולני, תפקיד בו שימש עד 1956. בנובמבר 1955 פיקד על "מבצע ניצנה", כיבוש מוצבי הסחנה. בהמשך שימש בתפקיד ראש מטהפיקוד הצפון וראש מינהל הסגל באגף כוח האדם.
התאבדותו של נחמיה ארגוב הביאה למינויו למזכיר הצבאי של ראש הממשלה ושר הביטחון דוד בן-גוריון. בן-דוד ליווה את בן-גוריון במשך למעלה מחמש שנים, כשברקע מתעצמת פרשת לבון. במקביל להתפטרותו של בן-גוריון מראשות הממשלה מונה בן-דוד ביולי 1963 לראש אגף כוח האדם[1], ובאפריל 1964 קודם לדרגת אלוף.