כהן נולד בכפר דנו שבמחוז פסקוב באימפריה הרוסית, בן ליצחק, סוחר יערות ממשפחה אמידה, ולאשתו, רבקה, בת אבא ליבמן. הגבלות השלטון אילצו את המשפחה לעזוב את הכפר, וב-1882 עברה לעיר ויטבסק ברוסיה הלבנה. בנעוריו ניסה כהן לרכוש השכלה כללית, למרות התנגדותם של הוריו. כנער הקים אגודת גמילות חסד ויזם חוגי תרבות. הוא עסק בפעילות ציונית וסוציאליסטית, בעטיה נידון לשישה חודשי מאסר, וארגן שביתה של עובדי בתי המסחר בוויטבסק, שבעקבותיה פוטר. כהן המשיך בפעילות ציונית חוקית, אך התרחק מפעילות סוציאליסטית ואף הפך לסוחר עצמאי. ב-1901 הצטרף ליחידת כבאים מתנדבים.
ב-1915 עבר כהן לחרקוב ונכנס כשותף במכרה פחם. הוא סייע לפליטימלחמת העולם הראשונה היהודים בעיר וארגן עבורם מוסדות חינוך. גם כאן התנדב ליחידת הכבאים ועסק בה בהדרכה. אחרי מהפכת אוקטובר נושל כהן מנכסיו ונאסר לתקופה קצרה. הוא עזב את ברית המועצות, התגורר שנתיים בווילנה, וב-1923, בגיל 45, עלה לארץ ישראל עם משפחתו. תחילה עבד כפועל ביישור חולות ובהמשך מצא עבודה כפקיד.
ב-1925 אירע שיטפון גדול בשכונת ברנר. כהן השתתף בפעולות ההצלה, ואז הציע לראש העירייה, מאיר דיזנגוף, לייסד גדוד מכבי אש מתנדבים, שישמש גם להצלת נפשות. הוא היה חבר בהנהלה הזמנית של הגדוד שהתארגנה באוגוסט 1925[1] וקיבל את תפקיד המנהל הטכני. מאז פעל ללא לאות למיסודו של הגדוד ולהרחבת פעילותו, תוך התמודדות עם קשיים רבים ומחסור באמצעים[2]. כהן עסק ברכש והצטיידות, הכשיר דורות של כבאים וסייע להקמת יחידות כבאים מתנדבים ביישובים אחרים. גם בגיל מבוגר השתתף בפעולות כיבוי והצלה.
אחרי פרישתו, נבחר כהן לנשיא כבוד של מרכז אגודות מכבי אש מתנדבים בישראל[3].
כהן נישא ב-1905 לסוניה[5], בת הרב מאיר פרדקין מדוינסק, והיה אב לחמישה בנים. בנו השלישי, אהרון, נהרג במלחמת העצמאות. בנו השני היה האלוף אליהו בן חור. בנו הבכור, זלמן, המציא את שיטת המורס בעברית.
