כהן נולד בברוקלין לאיזידור והלן, כבכור מבין 3 ילדים. בגיל 17, בעודו עובד בבית כנסת, פגש לראשונה את רחל (רודה) שהייתה אז בת 11. בחלוף 9 שנים, בשנת 1945, השניים נישאו. כהן היה תלמיד מצטיין וסיים את לימודי התיכון בגיל 15, ומיד לאחר מכן החל ללמוד לתואר ראשון. לאחר מספר חודשים פרש מאחר שלא הסתדר עם חבריו לספסל הלימודים שהיו בוגרים ממנו בכמה שנים. בחלוף שנתיים שבהם עבד, נרשם ללימודי תואר ראשון במכללה העירונית של ברוקלין. במהלך לימודיו הרבה לעסוק בלימודי יהדות (במסגרת JTS) וכמו כן היה מעורב בפעילות פוליטית והיה כתב לענייני ספורט של המכללה. ב-1940 סיים את לימודיו במכללה והחל ללמוד במסלול לרבנות של ה-JTS. את ההסמכה לרבנות קיבל שנה לפני המועד המתוכנן, בשנת 1943, לאור הכוונה לשלבו בתור רב צבאי במלחמת העולם השנייה, אולם מסיבות רפואיות הצבא פטר אותו.
ב-1959 השלים את עבודת הדוקטורט באוניברסיטת קולומביה, בשם "הדילמה של הדת בחינוך הציבורי" (מאוחר יותר אף קיבל תואר ד"ר לשם כבוד מטעם הקולג' לרבנות רקונסטרוקציוניסטית (RRC), פנסילבניה ארצות הברית)
באוגוסט 1947 כהן ואשתו עברו לישראל והתגוררו בשכונת טלביה בירושלים, בשכנות למשפחות ערביות ויהודיות. באפריל 1948, כחודש לפני הכרזת המדינה, חזרו לארצות הברית ויעקב התמנה למנהל המשרד של התנועה ליהדות מתחדשת בארצות הברית. ב-1961 עלה כהן עם משפחתו לישראל ובאופן טבעי השתקעו בירושלים. לשניים 3 ילדים.
עם עלייתו לארץ ב-1961, החל לכהן כמנהל "בית הלל" באוניברסיטה העברית בירושלים. במסגרת התפקיד, פעל לקירוב בין סטודנטים ערבים ויהודים, ויזם פרויקטים לקידום העניין. כחלק מתפיסת עולם זו, סייע ביסוד עמותת "שומרי משפט - רבנים למען זכויות האדם", והיה פעיל בה לאורך השנים. כהן פעל רבות לקרוב לבבות בין אנשי רוח ודת יהודים, מוסלמים ונוצרים. ב-1984 פרש לגמלאות.
כהן ייסד את קהילת "מבקשי דרך" בירושלים, שנועדה להוות מקום לקיום חיי תרבות יהודיים על פי עקרונות הזרם הרקונסטרוקציוניסטי. בתחילת הדרך כהן התנגד להקמת בית תפילה קבוע, מכיוון שלדעתו, בית תפילה יצמצם, באופן טבעי, את פעילות הקהילה הן במישור הגאוגרפי והן במישור הרוחני-תרבותי ודגל בהקמת מרכז חינוכי ותרבותי. אולם, לאור הצורך שעלה מחברי הקהילה של כהן, לבסוף הוקם בית הכנסת של קהילת מבקשי דרך. כיום, לאור חזונו של כהן, מתווסף לבית הכנסת גם מוסד חינוכי בדמות גני ילדים ומרכז לפעילות חינוכית לילדים ונוער.
כמו כן, בשיתוף עם הקהילה פועל "מרכז קפלן", שכהן היה מיוזמיו. "מרכז קפלן" פועל להנחלת מורשתו של הרב מרדכי קפלן והיהדות הרקונסטרוקציוניסטית, בעיקר באמצעות חוגים ופעילויות שונות.
ספריו
כהן כתב 10 ספרים, ופרסם מאמרים בכתבי עת בישראל, ארצות הברית ובמדינות נוספות.
ספריו
The Creative Audience, The Reconstructionist Press, New York, 1954. (יחד עם רבקה אימבר).
The Case for Religious Naturalism: a Philosophy for the Modern Jew, The Reconstructionist Press, New York, 1958
Jewish Education in Democratic Society, The Reconstructionist Press, New York, 1964.
Israel, Zionism and American Jew, B'nai B'rith Youth Organization, Washington DC, 1967
The Reunion of Isaac and Ishmael, Mosaic Press and the Reconstructionist Press, Oakville, Ont, 1987 (ספר זה תורגם גם לעברית)
Major Philosophers of Jewish Prayer in the 20th Century, Fordham University Press, 2000 (ספר זה תורגם לעברית).
Jewish in the Modern World: Judaism as an Evolving Civilization; Selections from the Works of Mordechai Kaplan, Daat, 2001. (ספר זה תורגם גם לרוסית).
Judaism In a Post-Halakhic Age, Academic Studies Press, 2010.