באותו רגע שמעתי את קול ה', שקרא לי לצאת לדרך. באה שעתי לקחת על עצמי את מילוי כל המצוות שנצטוו בני ישראל. מנדל [גורדין] הראה לי את הדרך בדוגמה ובמופת אישיים. עדיין הייתי רחוק מלהיות יהודי באמת, אך ביני לבין עצמי החלטתי לבחור בדרך הישר, והחלטתי זו התקבלה אצלי מתוך הכרה מלאה. וכך, מתוך תחושה פתאומית של זיקתי לעם ישראל הגעתי לידי הבנת זיקתי לה'.
— יוסף מנדלביץ', "מבצע חתונה: מאבקו, מעצרו ושחרורו של אסיר ציון", ירושלים 1985, עמ' 31
בי"א בסיוון תש"ל, 15 ביוני1970 היה שותף ב"מבצע חתונה" – ניסיון לחטוף מטוס קטן משדה תעופה על יד סנקט פטרבורג כחלק מהמאבק למען עלייה חופשית של יהודי ברית המועצות[2]. עם חברי הקבוצה נמנו סילבה זלמנסון ומארק דימשיץ[3]. חברי הקבוצה הואשמו בבגידה, אישום שדינו מוות. מנדלביץ' נידון ל-15 שנות מאסר. מאסרו הופחת לשתים-עשרה שנים במחנה סגור בהרי אורל[4], מתוכם היה כלוא בפועל כ-11 שנים. שלוש שנות מאסר שהה בתנאים מחמירים, משום ששמר מצוות. במהלך מאסרו, הוא שבת רעב 58 ימים[5][6]. בשנת 1980 אבד הקשר עמו למשך כשנה[7], לאחר שהשלטונות הסובייטים העבירו אותו לכלא אחר, שם לא היה לו קשר עם איש[8][9].
בכלא פגש מנדלביץ' לראשונה את נתן שרנסקי[10]. בפברואר 1981 הוא נלקח למרכז הק.ג.ב. במוסקבה, שם הודיעו לו כי איננו ראוי עוד לשאת אזרחות רוסית וכי הוא מגורש מהמדינה. מנדלביץ' עלה לישראל ב-18 בפברואר 1981[11]. בישראל פעל לשחרור אסירי ציון נוספים. לצורך זה נפגש עם נשיא ארצות הברית רונלד רייגן ומנהיגים נוספים. בשנת 1986 עמד בראש הוועד הציבורי למניעת הסגרתו של ויליאם נקש לצרפת[12]. ב-1988 הקים יחד עם שרנסקי ארגון של יוצאי ברית המועצות בשם "הפורום הציוני"[13].
ב-2004 היה בין מקימי מכון "לנדר" בירושלים. הקים מכון תעסוקה לעולים הכולל אולפן מתקדם לעברית וקורסים מגוונים להכשרה מקצועית של העולים. הקים יחידה למורשת ישראל ברדיו רק"ע ובערוץ 7 בשפה הרוסית.