בשנת תר"פ (1919) שבו כל הגולים, ובתוכם מרגליות, לירושלים. באותה תקופה התקרב לרבו השלישי רבי שלמה אליעזר אלפנדרי ("הסבא קדישא"). מרגליות קישר בין הרב אלפנדרי לבין רבי חיים אלעזר שפירא ממונקטש[3]. כן פעל להוציא לאור את תשובותיו של הרב אלפנדרי, ופרסם את תולדותיו בהקדמה לשו"ת.
מרגליות היה קשור בכל נימי נפשו למירון ולרבי שמעון בר יוחאי, והיה מגיע לקברו מספר פעמים בשנה. את יום ל"ג בעומר חגג כיום טוב, לבוש בשטריימל ובגדים חגיגיים[9]. אהב את מנהג החלאקה, ובאמצעות מספרי כסף שהיו קשורות לצווארו בשרשרת זהב ביצע את הטקס לאלפי ילדים, תוך כדי שהתזמורת מנגנת את "אושר זעליג'ס ניגען" (ביידיש: ניגונו של אשר זעליג, מוכר כניגון "משה אמת" של חסידי ברסלב). בין הספרים שחיבר, מספר ספרים על רבי שמעון בר יוחאי ורבי אלעזר בנו.
אידאולוגיה קנאית
בכתביו ניסה הרב מרגליות להתוות אידאולוגיה לעדה החרדית כולה. עם זאת הוא אינו דמות אופיינית לעדה, ואף נתגלעו חיכוכים בינו לבין אנשים מתוכה[10].
פרופ' יהודה ליבס מצא במחקריו דמיון בין תורתו של מרגליות לבין דרכה של כת מדבר יהודה, באופן מפתיע. ליבס אינו משווה בין תורת מרגליות לזו של כת מדבר יהודה[דרושה הבהרה], כהוכחה ליישום רעיונות קודמים במציאות פוליטית מאוחרת, בהתפתחות המסורת היהודית. בין הנקודות אשר מציין ליבס:
חלוקה לישראל ולערב רב – מרגליות מחלק את עם ישראל לשני חלקים - "ישראל" ו"ערב רב", שביניהם הוא מבחין באופן מובהק, בדומה לחלוקה במגילות ים המלח, ל"בני אור" ו"בני חושך". גורלה של היהדות החרדית המתבדלת ("ישראל") – לגן עדן, ולעומתה שאר העם ("ערב רב") – לגיהנום. קריאת שם ישראל על "ערב רב" היא סילוף גמור: "שכל מיני הכתות הם ועוזריהם המה מערב רב, וממצרים באו, ואין להם שום שייכות לעם ישראל"[11], וכן "אינם מכלל שורש נשמת ישראל"[12]. גם הכלל "ישראל אף על פי שחטא ישראל הוא"[13] אינו חל עליהם[14]. מרגליות ציטט את תפילת היעב"ץ, בה כונתה התנועה השבתאית "ערב רב", והשתמש בה כנגד היהדות הלא חרדית של דורו, שלפי שיטתו גם היא נכללת בהגדרה "ערב רב"[15]. מרגליות סבור גם שדרך התשובה חסומה בפני חלק הארי של העם, ונוקט כלפי כל מי שאינו בן העדה בלשון "אינו חוזר לחזקתו לעולם" או "אין לו תקנה"[16].
קנאות פסיבית: היבדלות – אליבא דמרגליות, על "ישראל" להיסגר בתוך עצמם, להיבדל מן ה"ערב רב" ולא להשתתף עמם בשום נושא – לא של קדושה ולא של חולין:[17] אין להעלות אותם לתורה, לאכול ממאכליהם, להינשא עמהם, לסחור עמהם ולדבר בשפתם (עברית). לשיטתו, חייב אדם להתנכר לחלוטין אפילו לבני משפחתו הקרובים, אם הם נמנים עם ה"ערב רב"[18]; אם אחד מהם רוצה לשוב ולהסתפח ל"ישראל", יש לנהוג בו כגוי שבא להתגייר, ואף על פי שהוא נימול יש לחזור ולהטיף ממנו דם הברית[19].
קנאות אקטיבית: שנאה – בני ישראל מצווים לשנוא את ה"ערב רב", ואין בכך עבירה כלל[20]. מצווה גדולה היא לקלל את ה"ערב רב"[21]. בספרו על תיקון חצות, הוסיף מרגליות תפילה מיוחדת כנגד ה"ערב רב"[22]. לגישתו מצווה גדולה היא להתבזות ולהתענות מידי ה"ערב רב", וזה בדרגת קידוש השם[23] כן מצווה להילחם בהם, לריב ולהתקוטט איתם[24]. האידאולוגיה הקנאית מתייחסת באופן שלילי לדתיים "מתונים" המקרבים את ה"ערב רב" ואינם נוטלים חלק בחובת הריב והקטטה איתם. לדעתם, כל המתחבר ל"ערב רב", שורש נשמתו מהם[25]. על כן שופכים הדוגלים בה את חמתם על רבני ומנהיגי "המזרחי"; אך יותר מכל כעסם מופנה כלפי אלו הלבושים כחרדים, מתנהגים כמותם, אך משנים ממנהגי אבות[26].
ספריו
מרגליות הדפיס כ-30 ספרים. רוב ספריו הם ליקוטים מספרים אחרים בליווי הערותיו, הבהרותיו והסבריו.
ביאור השירבר יוחאי – ירושלים תש"ב. נערך מחדש בשנת 2014 בספר "פניני הריא"ז" מחולק לשלושה חלקים: פשט; סוד המובן לכל אחד; סוד המובן לחכמי הרז[28][29]
כוחו דרבי אלעזר בן רשב"י – ירושלים תש"י
ספר שבחין דרשב"י
מידות רשב"י, כל מאמרי רשב"י מכל התורה כולה, עם מראה הזוהר (חלק א, חלק ב) – הקבלות ממאמרים בזוה"ק למאמרי רשב"י בש"ס (הוא ערך זאת בשבתו תקופות ארוכות - ללא ספרים - בקבר רשב"י שהיה שומם באותן שנים), ירושלים תרצ"ז
^הרב מנחם מנדל פרוש תיאר את האירוע במילים אלה: "כשהתחיל הרב [קוק] להספידו ברחוב יפו, במקום שהיו המון רב מכל הגוונים, לא יכלו לעצור [הקנאים] ברוחם הפראית. בייחוד קנאי מבוהל ידוע [מרגליות], ששירת את הנפטר, התפרץ אל הרב בקריאות של בוז להפריע את הספדו של הרב. וכמובן שנמצאו בין הקהל אלה שלא עמדו מנגד, ואחזו בהפורעים, וסתמו את פיהם והשליכו אותם מחוץ להקהל. אך מהם נמצאו פוחזים שהתחילו בצעקות. והדבר הגיע לידי הכאות משני הצדדים, והיה הכרח להשתמש בשוטרים להשקיט אותם, עד שהרב המשיך בהספדו. התנפלות פומבית וגסה כל כך שעוד לא היה כמוה!" (בתוך החומות, ירושלים תש"ח, עמ' 239).