נולד בירושלים לרב שפטיה (שעפטל) סגל, מצאצאי השל"ה[1] ותלמיד הרב מאיר שמחה כהן, ולחנה-עלקא, בת הרב יעקב מנדלבוים. אבי סבתו הוא הרב בכור חיים יוסף דוד אזולאי, מצאצאי החיד"א. בינקותו עברו הוריו לגור בנווה שלום שביפו. למד בתלמוד תורהשערי תורה ביפו. בהיותו כבן שמונה נפטר סבו הרב יעקב מנדלבוים בירושלים, והוא היה בין שלושת מספידיו[2]. בבחרותו למד בישיבת לומז'ה בפתח תקווה, שם היה מתלמידי הרב שך ובמשך תקופה אף לן עמו בחדרו. באותה תקופה היה בקשר עם החזון איש, אשר כינהו "ארי בין אריות"[3]. זכה בפרס משרד הדתות (תשי"ב, 1952) שחולק ל-18 "עילויי הישיבות".
בשנת תשי"ג (1953), בהיותו בן 29, התמנה לרבה של שכונת קריית שלום בדרום תל אביב. היה פעיל בתחומי הדת בשכונתו והרבה במסירת שיעורים תורניים בבתי הכנסת באזור. כמו כן עסק בקבלה ובספרי חסידות. נחשב בעל כוח ברכה ויוחסו לו מופתים. היה מקורב לרבנים מכל החוגים. במשך עשרות שנים פרסם מאמרים תורניים והגותיים בבמות רבות, ובהם בעיתון "שערים".
נפטר בלי בנים, בט' באדר תשס"א, ונקבר בהר המנוחות בירושלים. לאחר פטירתו נערכו כתביו על ידי הרב אברהם מרדכי מרקסון אשר הוציא לאור את ספרו "חידושי רבי יהודה זרחיה". כמו כן נדפסו חידושיו בספרו של אביו "דברי רבינו שפטיה".
אחותו היא סופרת הילדים לאה זוננפלד, אלמנת הרב חיים אברהם זוננפלד, שכיהן כרבה של שכונת נווה אביבים בתל אביב.
