הישיבה הוקמה בשנת ה'תשל"ח (1978) לאחר שהרב שך הורה לתלמידו הרב קוק להקימה. הרב אברהם יצחק קוק הזמין את הרב חיים זליבנסקי, שלפני כן היה ראש ישיבה בירושלים להצטרף אליו כראש ישיבה[1]. הרב שמחה הכהן קוק, רב העיר רחובות ואחיו הגדול של ראש הישיבה, התמנה לנשיא הישיבה. בתשנ"ה נפטר הרב זליבנסקי, בגיל 56, והרב אברהם יצחק קוק נשאר כראש ישיבה יחיד.
בשנים הראשונות שכנה הישיבה ברחוב פרץ בעיר, בביתו של הרב שלמה קוק - רבה הקודם של רחובות ואחיהם של הרבנים אברהם יצחק ושמחה. בשנת תשנ"ו עברה הישיבה למבנה הישן של בית חולים ליולדות ונשים א. וה. קיבלסון ברחוב בנימין, ששימש כפנימייה, ולצדו נבנה מבנה ארעי של בית מדרש. בשנת תשנ"ט הסתיימה בנייתו של בניין פנימייה וחדר-אוכל על שטח של כדונם וחצי.
בשנת תשס"ה הועבר בית המדרש באופן זמני לרחוב נורדאו, לצורך בניית בית מדרש חדש (המכיל כ-500 מקומות ישיבה), הכולל גם אולם אירועים. הבנייה הסתיימה בשנת תש"ע. הבניין נתרם ברובו על ידי הנגיד יוסי שטרן מארצות הברית.
הישיבה כיום
נכון לשנת תשע"ט לומדים בישיבה כ-400 תלמידים.
בעלות וניהול הישיבה מתחלקים בין משפחת קוק למשפחת זליבנסקי. משפחת קוק אחראית על צביונה הרוחני, והרבנית מרים זליבנסקי, אלמנת הרב חיים, אחראית על תפעול הישיבה הטכני והפיננסי.
מוסדות הישיבה ברחובות כוללים גם שתי ישיבות קטנות: "ישיבה למצוינים" ספרדית בראשות הרב מיכאל חסין וישיבת "חכמת שלמה" הליטאית.
בשנת תשע"ה הוסיפה עיריית רחובותכיכר בצומת הרחובות הרוא"ה-בנימין, הנושא את השם 'כיכר הישיבה', לזכרו של הרב שלמה קוק[2].
בתשע"ט נערך כנס במלאת 40 שנה לקום הישיבה, ובו נכחו כ-2000 מבוגרי הישיבה[3].
בשנת תשפ"ד נחנך מבנה פנימיה חדש לאחר שלוש שנים של עבודות[4].
בעבר לימדו כר"מים הרב זבולון שוב, כיום ראש ישיבת דברי אמת, והרב חיים קוק, ראש ישיבת תורת רפאל.
בוגרי הישיבה
בין בוגרי הישיבה אפשר למנות רבנים ,ראשי ישיבות ומשגיחים ולהבדיל אנשי תקשורת מפורסמים בין השמות אבי רבינא שכיום משמש ככתב בעיתון בקהילה וכן עקיבא וויס שמשמש ככתב בתאגיד כאן הרב בנימין כהן שמשמש כיו"ר קרן השביעית אבא טורצקי סטנדאפיסט חרדי, דוד אוחנה חבר מועצה בולט בטבריה וכן עוד שמות בולטים בציבור החרדי ובכללי.
