נולד בעיר העתיקה בירושלים. אביו, שבתי יודלביץ, התאלמן בגיל צעיר ושכל את שני בניו מאשתו הראשונה. הוא נישא בשנית, ושכל גם את שני בניו מאשתו השנייה. השניים עמדו להתגרש, אך בעקבות ברכה מצדיק נסתר המשיכו את נישואיהם, שמהם נולד בנם שמואל אהרן וכן הבת בתיה. הסנדק בברית המילה שלו היה הרב שמואל סלנט. שבתי יודלביץ נפטר בשנת תרע"ח (1918) בדמשק, שאליה הוגלה על ידי השלטון העות'מאני. האם נישאה בשנית ועזבה את ירושלים עם בתה, והוא נותר לבדו בירושלים. לאחר מכן למד בישיבת עץ חיים. תקופה מסוימת נדד בין משפחות שונות, עד שהמשגיח בישיבת עץ חיים, הרב אריה לוין, אימצו כבן.
לאחר ארבע שנים שבהן גדל בבית משפחת לוין הציע לו הרב לוין לשאת את בתו הבכורה רשא. הוא הסכים להצעה, אך ביקש לראותה לפני כן, כדי לקיים את הכלל ההלכתי הקובע שאסור לאדם לשאת אישה בלי לראותה. כך התברר לרב לוין כי במשך ארבע שנות מגוריו בביתו לא הביט מעולם בבתו.
היה מתלמידיהם של הרב מטבריג[1] והרב איסר זלמן מלצר. כמו כן היה מקורב לרב שלמה אלישוב. הרב קוק כתב לו מכתב המלצה: "הנני בזה להודיע באתרא דלא ידעין ליה (=במקום שלא מכירים אותו), את מעלת הרב הגאון החו"ב (=החריף ובקי) סיני ועוקר הרים אוצר תורה ויראה מו"ה שמואל אהרן יודעלעוויץ שליט"א, מיחידי הסגולה שבבני הישיבה הקדושה 'עץ חיים' פעה"ק ת"ו, אשר מאז נודע לי בגודלו בתורה בגפ"ת ופוסקים הוא כאחד הגדולים, מדותיו תרומיות ויראת ד' טהורה ערוכה עמו ושמורה, ואשרי עדת ד' אשר תקחנו אחר כבוד להיות לה לרב ואב"ד ומורה דרך ד' לעם קדוש, כי לו נאה ולו יאתה עטרת הרבנות בכבוד והדר, וכל תומכיו יאושרו ויתברכו לרגלו". בשנת תרפ"ט (1929), כשביקר הרב קוק אצל האדמו"ר מליובאוויטש יוסף יצחק שניאורסון במהלך ביקורו של האדמו"ר בארץ ישראל, נלווה אליו הרב יודלביץ יחד עם חותנו הרב אריה לוין.
במשך שנים שימש כר"מ בישיבת עץ חיים וכן בישיבת בית יוסף-נובהרדוק בירושלים. נהג ללמוד במשך כל שעות היום כשהוא עטור בתפילין. היה מחלוצי הרבנים שעסקו בחשמל לאור ההלכה, ובשנת תשי"ד (1954) פרסם את ספרו "החשמל לאור ההלכה". בשנת תשל"ז (1977) זכה בפרס הרב קוק על ספרו "מעיל שמואל" על מסכת פסחים. לאחר פטירתו הוציאה משפחתו את הספר "מעיל שמואל" על מסכתות הש"ס, שתוכנו נלקט מתוך מאמרי תורה רבים שפרסם בכתבי עת תורניים שונים. נינו הרב בנימין גינזבורג הקים במודיעין עילית את מכון "מעיל שמואל" להפצת תורתו.
נפטר בליל שבת י"ד בטבת תשל"ט ונקבר במוצאי השבת בבית הקברות בהר הזיתים, בצמוד לקבר רבו הגאון מטבריג. שלום מאיר ולך פרסם עליו את הביוגרפיה "מעילו של שמואל", שזכתה לתפוצה רבה.
^חידושיו של הגאון מטבריג פזורים בספרו של הרב יודלביץ "מעיל שמואל". כמו כן, העלה הרב יודלביץ על הכתב את שיעורי רבו, והם מהווים חלק נכבד מן הספר "נר אהרן" שבו כונסו דברי תורתו של הגאון מטבריג.