נולד לרבי ירחמיאל צבי, ששימש לימים כאדמו"ר מביאלא (במקביל לאחיו ששימשו כאדמו"רים במקומות אחרים) בעיר שדליץ שבפולין. בהיותו בן חמש נפטר אביו והוא גדל בבית אבי אמו, האדמו"ר אריה לייבוש (השני) מאוז'רוב. לאחר שנפטר הסב בשנת תרע"ד עבר להתחנך אצל דודו רבי אברהם יהושע השיל רבינוביץ, האדמו"ר מביאלא בלובלין. כמו כן נסע לרבי אברהם מרדכי אלתר האדמו"ר מגור.
נישא לרבנית חנה פעשא, בתו של אליעזר ברנהולץ, מחסידי ביאלא בעיר ולודבה. בשנת תרפ"ד בגיל עשרים ושלוש שב לעיר שדליץ על מנת למלא את מקום אביו בהנהגת חסידות ביאלא. עם התגברות העלייה לארץ ישראל בשנות העלייה החמישית עודד חסידים ששאלוהו אם לעלות לארץ ישראל לעשות זאת.
בשנת תשט"ז העתיק את מקום מגוריו לירושלים שבה הקים את בית מדרשו[1].
בתחילת שנות ה-60 החל לכהן כחבר במועצת גדולי התורה, אך מיעט להשתתף בישיבותיה. כששאלוהו על כך אמר: "מקובלת עלי דעתו של הרבי מגור כי יש לו סייעתא דשמיא"[2].
כתביו יצאו לאור בסדרת הספרים "חלקת יהושע", על התורה בחמישה כרכים. ספרו "סדר היום" נדפס בחייו. כמו כן כונסו ההקדמות שכתב לספרי חסידות ביאלא ונדפסו בספר "חלקת יהושע".
סידורי התפילה של החסידות מעוטרים בדברי תורתו ונקראים על שמו: "סדור תפילה חלקת יהושע", "מחזור חלקת יהושע" ו"תהילים חלקת יהושע".
לאחר פטירתו נערכו בחירות בחסידות על מנת להכריע מי יהיה יורשו. בבחירות שנערכו בתוך השבעה נבחר בנו הצעיר רבי בן ציון רבינוביץ לאדמו"ר. לאחר מספר חודשים הכתירו חלק מהחסידים את בנו רבי דוד מתתיהו רבינוביץ ובמקביל החלו יתר הבנים לכהן כאדמו"רים.
ילדיו
בנו הרב ירחמיאל צבי יהודה רבינוביץ, האדמו"ר מביאלא פשיסחא. בנו הוא הרב שמחה בן ציון אייזיק רבינוביץ בעל הפסקי תשובות
בנו הרב יעקב יצחק רבינוביץ, האדמו"ר מביאלא רמת אהרן
בנו הרב דוד מתתיהו רבינוביץ, האדמו"ר מביאלא בני ברק
