נולד בסלונים, שם התגורר אביו הרב קלמן קלונימוס שרשבסקי. נישא למרים, בתו הבכורה של רב העיירה קוסובה הרב שמואל סלונימסקי[3]. לאחר פטירת רעייתו בדמי ימיה נישא לאחותה ביילא רבקה.
אחיו של הרב שרשבסקי, רבי אהרון זליג (שהיה מכונה ר' זליג רייצה'ס) היה גם הוא תלמיד חכם מפורסם[4].
בשנת תרמ"ג (1882) בערך נפטר הרב סלונימסקי. הרב שרשבסקי התמנה לרשת את מקומו בערך בשנת תרמ"ד[5].
בתו חיה אסתר נשאה לרב יעקב וולנסקי. תקופה קצרה לאחר שנשאו עלה הזוג לירושלים.
בשנת תרפ"ז, לאחר פטירת רעייתו, עלה הרב שרשבסקי לירושלים והתגורר בשכונת מאה שערים בבית אחיו האמור, שכבר הלך לעולמו. תחתיו התמנה ברבנות בקוסובה חתנו האחר, הרב מאיר לייקין, שנספה בשואה[6] עם יתר בני העיירה בי"א באבתש"ב.
כדרכו בחו"ל נמנע גם בירושלים מלעסוק בענייני ציבור והעדיף לשקוד על התורה כשהוא עטור בטלית ותפילין. הקפיד שלא יצלמוהו ולכן כמעט לא השתמרו ממנו תמונות[7].