נולד בברלין למשפחה משכילה. אביו, ד"ר אויגן (משה) וולבה (גר'), כתב כמה ספרים בהיסטוריה יהודית וכללית, וכן על איסוף אוטוגרפים. אמו, רוזה, באה ממשפחה אורתודוקסית, ונראה שהייתה אחראית לחינוכו הרוחני, כפי שהוא מציין בהקדמתו לספרו "עלי שור". טקס הבר מצווה שלו נחגג בבית כנסת רפורמי.
בחורף 1934 (תרצ"ד), לאחר ששמע באקראי שתי שיחות מוסר מאת הרב דוד בודניק מאסכולת נובהרדוק, שהשאירו עליו רושם עז, עבר בקיץ 1934 (תרצ"ד) לישיבת מיר, שם כיהן כמשגיח הרב ירוחם ליבוביץ. הוא נקשר אל ר' ירוחם והספיק ללמוד אצלו רק כשנתיים, עד לפטירתו בקיץ 1936 (תרצ"ו). אך נקשר אליו מאוד וראה את עצמו ממשיך את שיטתו, הוא חיבר עליו את הספר "אדם ביקר". ב-1938 (תרצ"ח) עזב את ישיבת מיר, והגיע לסטוקהולם והחל למסור שם שיעורי תורה לנוער ולמבוגרים.
בתום המלחמה פתחה שוודיה את שעריה לכעשרים אלף פליטים יהודים, רובן נשים. הרב וולבה סייע לרב בנימין זאב יעקבזון, רבה הראשי של סטוקהולם ומנהל סניף ועד ההצלה בסטוקהולם, לפתוח בית ספר חרדי, לכאלף בנות, משוחררות מחנה הריכוז רוונסבריק, באי בשם לידינגה (אנ') סמוך לסטוקהולם. הרב וולבה עצמו אף נתן שיעורים במוסד זה.
ב-1949 (חשוון תש"ט) הקים את ישיבת באר יעקב, לאחר התייעצות עם החזון איש. מעט לאחר מכן הצטרף לישיבה הרב משה שמואל שפירא, שכיהן בתפקיד ראש הישיבה, לצידו של הרב וולבה שכיהן כמשגיח. בסיון ה'תשי"א שימש כחודש כסגן ראש המועצה המקומית[1]. בתקופת באר יעקב, הוציא לאור את חלקו הראשון של ספרו "עלי שור".
המשגיח בכתב ידו במכתב לתלמיד שכתב מאמר תשבחות על ספרו עלי שור
ב-1967 (תשכ"ז) לאחר מלחמת ששת הימים החל בפעילות החזרה בתשובה מקיפה (דבר שהיה נדיר עד אז בקרב הציבור הליטאי, ובמיוחד בזה הישיבתי). הוא החל להרצות בקיבוצים ובסיסי צבא, ועוד, והתפלמס עם כל רובדי העולם הישראלי החילוני והחרדי. נלחם במיסיון, ברפורמים ובקונסרבטיבים. שיחותיו מאותה תקופה רוכזו בספר 'עולם הידידות', או בשמו המקורי 'בין ששת לעשור'. בנוסף, עסק בהדרכת חוזרים בתשובה בישיבת דבר ירושלים, ובספרו 'אור לשב'.
ב-1982 (תשמ"ב) עזב הרב וולבה את ישיבת באר יעקב ועבר לירושלים, שם הקים את בית המוסר שבו גם ייסד כולל אברכים, להכשירם בבוא הזמן ללמד ולהעביר לאחרים תורה מוסר ותיקון המדות, וכעשר שנים לפני פטירתו הקים ישיבה נוספת - ישיבת גבעת שאול, שבראשה העמיד את תלמידיו הרב אליקים גצל פשקס כראש הישיבה, והרב יהודה מנדלסון ששימש כמנהל בית המוסר, כמנהלה הרוחני, כשהוא עצמו משמש בה כ"משגיח". במקביל מסר שיחות בישיבות שונות - קול תורה, מיר, נצח ישראל, לייקווד-ישראל שם הוא היה ממשגיחים בישיבה.
נודע כדמות מוסרית בולטת והיו שראו בו שריד אחרון לתנועת המוסר מהדור שלפני השואה. כונה 'זקן המשגיחים', או 'המשגיח' סתם. התבלט בקו המחשבה האינדיבידואליסטי המיוחד שאפיין אותו, ונחשב כאיש חינוך, שרבים היו באים להתייעץ עמו.
ספרו "עלי שור" (אשר כתבוֹ בעילום שם שמגלם את שמו ושם אשתו שלמה ורבקה) מהווה מדריך בסיסי ויסודי לבן ישיבה, בתחומי היחס לתורה ולמצוות והעבודה על האישיות. הספר מחולק לשני חלקים, שני החלקים יצאו בפער של כעשרים שנה זה מזה.
בהקדמתו ביאר הרב וולבה מהו תפקידו ומטרתו של הספר, ומאין שאב את ההשראה לכתיבתו - מוועדי מוסר שערך בישיבתו באר יעקב, ומרבותיו הרב יצחק הוטנר והרב ירוחם ליבוביץ.
בספרו הוא מדגיש את חשיבות לימוד הגמרא, חשיבות התפילה, קידוש השם וחילול השם, וכן הוא עוסק בנושאים הגותיים דוגמת: מהו אדם, ומה תפקידה של התורה בעיצובו.
הרב בן ציון בורודיאנסקי • הרב רפאל צבי וולפין • הרב אליעזר יחיאל קונשטט • הרב אברהם מאיר שטיינפלד • הרב יצחק דב שכטר • הרב מיכאל וינקלר • הרב יעקב שטיינהוז • הרב יצחק ירוחם בורודיאנסקי
רבני הישיבה הקטנה
בעבר
הרב ישראל בונדהיים • הרב יחזקאל קורן • הרב יעקב רבינוביץ תאומים • הרב משה מרצבך • הרב ברוך שפירא
בהווה
הרב אביעזר שפירא • הרב מאיר קוט • הרב בן ציון שפירא • הרב משה לנג
