ב-1895 עבר עם משפחתו מרחובות ליפו, שם שימש מורה לערבית בבתי־הספר של "אליאנס" ו"עזרה". מאוחר יותר עקר אבולעפיה משם לשכונת נווה צדק. את ביתו בשכונה ייעד אבולעפיה לבתו הבכורה, רחל, כדי שישמש לה בית אחרי נישואיה לדוד בית לחמי. בית זה שימש בית ועד לתרבות (שמואל יוסף עגנון, אז עולה צעיר, שכר את עליית הגג של הבית וכתב שם את סיפורו "תמול שלשום"). בקיאותו של אבולעפיה בשפה הערבית ובמנהגי המזרח הקנתה לו את הכינוי "מוכתר סלים", ועמדה לו אחרי מהפכת הטורקים הצעירים (1909) כאשר הוכרזה חוקה חדשה באימפריה הטורקית, ואבולעפיה התמנה לנציג יהודי יפו בפני השלטון הטורקי וערביי יפו.
אבולעפיה הצטרף לאגודת אחוזת-בית, והיה אחד משישים ושישה בעלי המגרשים הראשונים של מייסדי תל אביב, אך חלה לפני שהספיק לבנות את ביתו בשכונה החדשה שעתידה הייתה לקום. בגלל מחלתו נסע אבולעפיה להיוועץ ברופא בביירות, שב לביתו ונפטר זמן קצר אחרי כן. הוא נטמן בבית־הקברות העתיק ביפו ביום כ' בשבט, תרס"ט — חודשיים לפני טקס הגרלת המגרשים לשכונה החדשה.
הבית בחלקה 2 בשכונת אחוזת-בית (כיום רחוב יהודה הלוי 20), שאבולעפיה לא הספיק לבנות, הוקם על ידי אלמנתו רבקה.
אביה של רבקה, ממייסדי ראשון-לציון (ששב לפני כן לפולין) ניסה לשכנע את האלמנה לחזור לוורשה, אך היא מיאנה. באמצע שנות ה-20 מכרה את ביתהּ, ועברה לגור בבית חדש במערב העיר (כיום רחוב חובבי ציון), שם חייתה עד פטירתה בשנת 1961 בגיל 86.
לרבקה ושלמה אבולעפיה היו שמונה ילדים: רפאל אבולעפיה (מחברי ניל"י), רחל בית-הלחמי, גדעון אבולעפיה, בוסתנאי אבולעפיה, אלישבע ריגלר, יעל בכנר, אבנר אבולעפיה ועליזה שלוי.
