יפה גר במשך כל חייו במושב, ושילב פעילות ביטחונית-התיישבותית עם עבודה חינוכית-ציונית. במשך שנים רבות פעל במסגרת חטיבת בני המושבים, בתחילה כרכז מפעלים ולאחר מכן כמרכז החטיבה. בתחילת 1977 חזר לשירות קבע בצה"ל כסגן מפקד עוצבת חצי האש. הוא נהרג במהלך אימון ההקמה, כאשר עלה רכבו על מוקש ב-28 בפברואר1977 באזור ניצנה שבנגב.
במקום שבו נהרג מוצבת אנדרטה לזכרו. התנועה החדשה מקיימת מדי שנה בסוכות לזכרו את מפעל יוסי יפה, בו חניכי השכבה הבוגרת של התנועה פורצים שבילי סימון חדשים ופועלים בשטח לטיפוח הסביבה. המושב השיתופייפית שבבקעת הירדן קרוי על שמו[2]. מדי שנה מאז שנת מותו מקיימת בני המושבים ובהמשך גם התנועה החדשה מפעל לזכרו במהלך חול המועד סוכות.
