כהן נולד בשכונת רחביה[2] בירושלים למשפחה דתית. נקרא יוסף על שם סבו, ומאיר על שם דודו שנהרג בתאונה בצבא. אמו מינה (לבית ורקר) הייתה מחנכת ותיקה, מנהלת בית ספר ויקירת העיר ירושלים[3], דור תשיעי בארץ ובת למשפחה ששורשיה בחברון[4]. אביו אריה היה איש האצ"ל ובכיר בבנק המזרחי.
בגיל 26, לאחר פעילותו המבצעית הראשונה, יצא בשאלה. עם זאת, אמר כי הוא עדיין מאמין באלוהים ואף חובש כיפה לעיתים קרובות.[6]
כקצין איסוף (קצ"א)
ב-1982 הצטרף ל"מוסד". עבר קורס קציני איסוף והיה חובש הכיפה היחיד בקורס זה, אם כי לאחר מכן יצא בשאלה[7]. כיום הוא חי אורח חיים מסורתי[8]. שירת כקצ"א והתקדם בסולם הדרגות ב"מוסד" עד שמונה לראש שלוחות "המוסד" באירופה. ב-1997 השלים בהצטיינות יתרה תואר ראשון במדעי החברה באוניברסיטת בר-אילן במסגרת התוכנית לזרועות הביטחון[9]. בשנים 2000 עד 2002 שהה בחופשה ללא תשלום מהארגון בין השאר לצורך סיוע למשפחתו בטיפול בבנו בעל הצרכים המיוחדים. כמו כן עבד בשנים אלו בחברת image id[10]. ב-2002 שב למוסד, תחת פיקודו של מאיר דגן ומונה לראש המוקד למבצעים מיוחדים של אגף "צומת", מפעיל הסוכנים במוסד[10]. ב-2003 זכה בפרס ביטחון ישראל יחד עם דוד ברנע, על פרויקט ייחודי[11].
ב-2006 מונה לראש אגף "צומת". במהלך פיקודו, זכה צוות מהאגף שבראשותו בפרס ביטחון ישראל. ב-2011 מונה לסגן ראש המוסד וממלא מקומו וראש מנהלת המבצעים בארגון.
ב-6 בדצמבר 2015 הופיע כהן בוועדת הכלכלה של הכנסת והביע את עמדת המל"ל לפיה עיכוב במימוש מתווה הגז עלול לפגוע בביטחון ישראל[13].
בחודש יוני 2024 שלחה ועדת גרוניס מכתב אזהרה לכהן ששימש כראש המל"ל בתקופה שחקרה הוועדה, בו נכתב, בין השאר, "התנהלותו של מר כהן בנושאים הנחקרים על ידי הוועדה הובילה לשיבוש עמוק בתהליכי עבודה ובניין הכוח ולפגיעה במנגנוני קבלת החלטות בשורה של סוגיות רגישות. בכך סיכן את ביטחון המדינה ופגע ביחסי החוץ ובאינטרסים כלכליים של מדינת ישראל".[14]
ביולי 2021, מונה לנציג קרן ההשקעות היפנית סופטבנק בישראל[23].
ב-15 באוגוסט 2021 נפתחה נגד כהן בדיקה משטרתית בגין מתנה בסך 20,000 דולר שקיבל מאיש העסקים ג'יימס פאקר מבלי שדיווח על כך[24]. במהלך 2023 החזיר כהן את הכספים. ב-15 במרץ 2023 הורתה היועצת המשפטית לממשלה, גלי בהרב-מיארה, על סיום הבדיקה המשטרתית המקדימה[25] כיוון שהיועץ המשפטי של "המוסד" נתן אישור לקבלת הכספים ומכיוון שחלה התיישנות על העבירה.
ב-21 בדצמבר 2021 נטען בתוכנית "המקור" שבזמן כהונתו כראש המוסד, כהן חשף מידע חשאי בפני דיילת שעמה ניהל רומן, ובפני בעלה גיא שיקר[27]. שיקר אף טען שזהבית כהן, גיסתו של יוסי כהן ומנכ"לית אייפקס ישראל, אחראית לפיטוריו מתפקידו הבכיר ב"פסגות", הנשלטת בידי אייפקס[28].
ביוני 2023, מונה לנשיא חוג הידידים של ארגון אלמנות ויתומי צה"ל, ארגון הפועל לקידום אלמנות ויתומי צה"ל וכוחות הביטחון בסדר היום הציבורי[29].
ביולי 2023, עם התקדמות חקיקתה של הרפורמה המשפטית והמחאות נגדה, קרא לשמור את המחלוקת מחוץ לגבולות צה"ל וארגוני הביטחון, ולעצירת מהלכי החקיקה ולהגעה להידברות בין הקבוצות השונות, במטרה להגיע לקונצנזוס[30].
באוקטובר 2023 לקח חלק פעיל בייעוץ לראש הממשלה ולמערכת הביטחון בעת מלחמת חרבות ברזל. בריאיון בפברואר 2024 אמר כי יש לצאת מרצועת עזה בתום הקרבות וכי הוא תומך בהתנתקות מהרצועה.[31]
ביוני 2024, הוזהר בידי ועדת החקירה הממלכתית לעניין כלי השיט שקבעה כי "התנהלותו של מר כהן בנושאים הנחקרים על ידי הוועדה הובילה לשיבוש עמוק בתהליכי עבודה ובניין הכוח ולפגיעה במנגנוני קבלת החלטות בשורה של סוגיות רגישות. בכך סיכן את ביטחון המדינה ופגע ביחסי החוץ ובאינטרסים כלכליים של מדינת ישראל".[14][32]