בית הכנסת נבנה בעשור הראשון של המאה ה-20[2], על יסודות בית כנסת קדום שנבנה על פי הערכות בשנת 1780 ונשא את אותו שם. על פי המסורת התפלל בבית הכנסת העתיק רבי נחמן מברסלב בעת ביקורו בארץ ישראל בשנת תקנ"ט (1798). בית הכנסת החדש, שנבנה והוחזק על ידי ועד שכונת הדר, שימש מרכז רוחני וחברתי עבור הקהילה היהודית בחיפה והתקיימו בו שיעורים תורניים, כינוסים ואסיפות שונות בענייני הציבור. באחד מחדרי בית הכנסת שכן משרד הרבנות של הקהילה בחיפה.
בראשית המאה ה-20 שכנה בבית הכנסת באופן זמני הכיתה הראשונה של בית הספר הריאלי[3][2] ובתקופת מלחמת העולם הראשונה שוכנו בו פליטים יהודים שגורשו מתל אביב על ידי השלטון העות'מאני. בבית הכנסת זה עלה בכל יום לדוכן הרב הראשי הראשון לארץ ישראל הרב אברהם יצחק הכהן קוק לברך ברכת כהנים[4], בעת שהיה נופש בחיפה, זאת חרף העובדה שבחיפה לא היה מקובל בקרב קהילות האשכנזים לשאת כפים. בשל מיקומו של בית הכנסת בקצה שכונת הדר הכרמל על קו התפר עם השכונות הערביות אירעו בקרבתו מספר אירועים על רקע לאומני[5]. במלחמת העצמאות, במהלך הקרב על חיפה, שימשו בית הכנסת ומדרגות הנביאים הסמוכות אליו כיעד להתקפות. הלוחמים הערבים אף הצליחו לחדור לבית הכנסת ולחלל תשמישי קדושה שהיו בו[6]. כוחות ההגנה מחטיבת כרמלי הצליחו להדוף את הערבים ובהמשך השתמשו בבית הכנסת כבסיס ליציאה להתקפות על העמדות הערביות[7].
בשנות ה-50 היה עדיין בית הכנסת מלא במתפללים. הרב יהושע קניאל שהתגורר בסמוך לבית הכנסת, היה ממתפללי בית הכנסת וכיהן כרבו עד שהתמנה לרב הראשי של חיפה. במהלך השנים הידלדלה האוכלוסייה היהודית בשכונת הדר וב-1984 ננטש בית הכנסת. נכון ל-2021 עומד בית הכנסת שומם ומוזנח, למרות כמה ניסיונות שנעשו כדי לשפצו ולהחזירו לפעילות.