בשנת ה'תר"ס (1900) עת נוסדה הקהילה החסידית החב"דית ביפו, עבר לשם והחל לשמש כשו"ב ראשי לקהילה החסידית וחברה קדישא לתושבי העיר בהוראת הרב פרדקין מלובלין. בשנת ה'תרס"ג (1903) כשפרצה מחלת החולירה באזור יפו, סייע לחולי העיר ודאג לסדר קבורה לנפטרים.
כשהחלה בניית תל אביב בה'תרע"ב (1912), רצה לבנות לבנות שכונה דתית בעיר החדשה, ויחד עם חברו יצחק וייסל אסף 100 תושבים חדשים מהם אסף תרומות למימון הפרויקט והחל בהקמת שכונת מאה שערים. תחילה הוקמו יחידות דיור עבור 100 המשפחות ומכאן שם השכונה. השטח הראשוני היה 500 מ"ר ובהמשך נוספה עוד קרקע שנקנתה מחברת גאולה וקרקעות נוספות שנתווספו בהדרגה (השטח שוכן ברחוב יונה הנביא ליד ההצטלבות ברחוב גאולה).
בשנת ה'תרע"ג (1913) הגיעה לתל אביב עלייה גדולה של חסידי חב"ד והוא היה מאלו שהביאו אותם לעיר ואירח רבים בביתו עד לביסוס הקהילה. בימי מלחמת העולם הראשונה רבים מאנשי החברה קדישא ויתרו על מנהגי טהרת המת המסורתיים בגלל המחלות שנפוצו אז והוא היה מהיחידים בארץ שהמשיך לקבור במנהגי הטהרה. בזמן גירוש תל אביב עבר לכפר סבא שם המשיך לעסוק בחברה קדישא.
ילדיו הם שמעון שמואל שמרלינג, שניאור זלמן שמרלינג, מנחם צבי שמרלינג, שמחה שמרלינג, יעקב שמרלינג, שרה גיטל אשת דוד צירין ומנוחה אשת צבי אורנשטיין. גיסו הוא שניאור זלמן סלונים
