בצעירותו למד בישיבת קלם שבליטא, ולאחר מכן בישיבת ראדין.
בי"ג בסיון תרע"ה נשא לאישה את פרומה ליבה (נולדה בשנת תרנ"ג) בתם של יעקב משה ספיר ולאה לבית שלוסברג. החתונה נערכה בעיר שומיאץ שבמחוז מוהילוב שבבלארוס, שם שהתה באותה העת ישיבת ראדין.
בשנת ה'תרע"ט נדדה ישיבת ראדין, בעקבות מלחמת העולם, לעיר סנובסק, שהייתה אז בשליטת רוסיה. חודשים מספר לאחר פטירת רבי צבי הירש לוינסון בשנת ה'תרפ"א, בחודש אדר, יצאה הישיבה בדרכה חזרה לראדין. בשנת 1921 כששבה הישיבה לראדין נתמנה רבי יהושע למנהלה של הישיבה.
עם פריצתה של מלחמת העולם השנייה השתלטה ברית המועצות על ראדין. רוב תלמידי הישיבה עברו לווילנה שבליטא בעוד שמיעוטם נשאר בראדין, כאשר התנאים בווילנה נעשו קשים מדי החליטו, שוב, לפצל את הישיבה לשניים. מחצית אחת התמקמה באיישישוק בהנהגתו של יהושע לוינסון והאחרת באוטיאן. כאשר הסובייטים כבשו את ליטא הפסיקה הישיבה לתפקד.
כאמור, יהושע לייב כיהן כר"מ ומשגיח בישיבת ראדין לאחר פטירת אביו, וניהל אותה בשנותיה האחרונות. בהלווייתה 'חפץ חיים' הספידו רבי יהושע[2].
