בשנת 1912 שרר בארץ ישראל מצב כלכלי קשה ומיתון, אשר פגע מאוד בתושביה של העיר ירושלים ובין היתר גם בתושביה המרודים יותר שהיו האברכים החרדיים. בחורים חרדיים רבים נאלצו לצאת לשוק העבודה, צעד שהיה לעיתים קונפליקטיבי כלפי אמונתם. בחורים חרדיים רבים נזרקו מקהילותיהם לאחר יציאתם לשוק העבודה לאחר שקרסו מבחינה כלכלית.
באותה שנה, 1912, עלו ארצה הרב שלמה אלישיב ("בעל הלשם" ע"ש ספרו "לשם שבו ואחלמה") וחתנו, הרב אברהם אלישיב ("בעל ביכורי אברהם" ע"ש ספרו) שהיה רבה הראשי של העיר הומל שבבלארוס. הרב אברהם החליט להילחם בתופעה וכך הקים ביחד עם חותנו, הרב שלמה את חברת תפארת בחורים שבית הכנסת שלה שימש שטיבל (בית כנסת פעיל בכל שעות היממה). סדר היום התחיל בשעה 4 לפנות בוקר, אז היו מקימים משנתם חבורת 'המעוררים' את הצעירים משנתם, לעיתים חרף קשיים כמו בתקופות עוצר בימי המנדט הבריטי.
מבין הדמויות המוכרות בבית המדרש ניתן למנות את הרב שלמה אלישיב, הרב שלמה שבדרון והרב נחום אוירבך (בלכר) שהיה אחראי גם בסיוע הקמת חברת תפארת בחורים ועל ניהולה. רבה של 'תפארת בחורים' היה הרב אברהם אלישיב, מייסד בית המדרש. בסוף ימי חוליו ולאחר פטירתו תפס את מקומו בנו, הרב יוסף שלום אלישיב מי שלימים יהיה הפוסק ההלכתי והמנהיג העיקרי של היהדות החרדית-ליטאית.
לאחר פטירת הרב אברהם אלישיב
הרב אברהם אלישיב היה מוסר שיעורים בקביעות בבית המדרש, מדי יום. עם פטירתו בשנת 1942 שלושים שנה לאחר שהקים ביחד עם הרב נחום אוירבך וחתנו, הרב שלמה אלישיב התמנה בנו, הרב יוסף שלום אלישיב לממלא מקומו בבית המדרש. כמסורת אביו המשיך למסור את שיעורו היומי ועם השנים החל בית המדרש לקבל זהות פוליטית לאחר שהרב אלישיב החל לשמש כמנהיגה הרוחני של מפלגת דגל התורה.
עשר שנים לפני פטירת הרב יוסף שלום אלישיב, הוא נפל בביתו, מעט אחרי הסיקור התקשורתי הנרחב על הצלחות אנשי ביתו במינויים פוליטיים. א. אורי לופוליאנסקי לראשות עיריית ירושלים. ב. יונה מצגר לרבנות הראשית לישראל. ג. חגי איזרר לדיינות בבית הדין העליון. הרב חשש לעין הרע ועם חולשתו סירב לחזור אל בית המדרש תפארת בחורים ולמסור את שיעורו היומי. לשם כך הוקם בית כנסת קטן שיהיה קרוב לביתו תחת השם "תפארת בחורים".
