הרב שרעבי התפרסם כבעל מופתים. רבים השכימו לביתו לעצה ולברכה. את הכספים שקיבל מציבור המבקרים הקדיש להחזקת הישיבה ולתמיכה בנצרכים, וכן חילק כסף לנערים על מנת למשכם ללימוד תורה.[3] חי בפשטות עם אשתו, הרבנית לאה (נפטרה בשנת ה'תשל"ט, 1979) שבעצמה הייתה דרשנית ופעילה חברתית. בני הזוג היו חשוכי ילדים. מסופר שלפני מלחמת העצמאות החביא ארגון האצ"לנשק בביתו, בהנחה ששם לא יחפשו הבריטים.[4]
הרב שרעבי היה חלש מאוד פיזית ובשנותיו האחרונות היו רגילים תלמידיו לקחתו ממקום למקום כשהוא יושב על כיסא.
מסופר כי גדולי המקובלים היו מציעים לפניו את ספקותיהם, בהם ראש ישיבת בית אל, הרב הדייןעובדיה הדאיה.[5] הרב עובדיה יוסף, שהרב שרעבי לימד אותו באופן אישי במשך פרק זמן מסוים, אמר על הרב שרעבי כי "הוא היה גדול הדור, וכמוהו לא היה בקבלה".
תלמידיו מספרים כי נהג לישון בלילות למשך כ-20 דקות בלבד,[6] הקפיד על טבילה במקווה מידי בוקר,[7] הקפיד על לבישת שני זוגות תפילין (לפי שיטות רש"י ורבינו תם) יחד,[8] הורה לומר בכל השנה את תפילת אבינו מלכנו,[9] ולקיים התרת נדרים בכל יום שישי.[10]
נקבר בהר המנוחות בירושלים. על שמו הוקמו מוסדות תורה, בהם בית מדרש בהרצליה ישיבת "חזון מרדכי" וישיבת "שערי מרדכי" בירושלים ומוסדות המייש"ר בבת-ים.
אחד מתלמידיו סיפר שענה לו כי דרכו של הרב אברהם יצחק הכהן קוק נכונה מדרכו של הרב יוסף חיים זוננפלד, משום ש"כתוב 'דרכיה דרכי נועם וכל נתיבותיה שלום', הרב קוק קירב רחוקים, וזו דרכנו, ובדרכו צריך ללכת!".[14]
^בספר "הסבא קדישא" תולדות הבבא סאלי כרך ב' עמודים רל"ד-רל"ו מוזכר הרב שרעבי בתואר "זקן המקובלים", גם בספר "הרב שרעבי" בעמוד 210 פורסמה מודעת אבל על פטירת אשתו הרבנית לאה שרעבי בשנת 1978 ושם מוזכר שבעלה הוא "זקן המקובלים".
