מספר שנים לאחר מכן העלתה קבוצת פועלים הצעה להקמת שכונת פועלים באזור תל אביב, שתהיה מבוססת על עקרונות שיתוף ועזרה הדדית. המטרה העיקרית של חברי הקבוצה הייתה לאפשר לפועלים העירוניים לחיות בנפרד, כל אחד עם משפחתו והשקפתו החברתית. על פי התוכניות נכלל בכל בית משק עזר, שנועד להקל על הפועל ומשפחתו. באותו הזמן עבד בן-צבי במרכז החקלאי. כשנדד המרכז מבאר-שבע לתל אביב, החליט להצטרף לקבוצת מייסדי השכונה, שבראשם עמד דוד שניידרמן. לשכונה, שהייתה שכונת הפועלים הראשונה בארץ, החליטו חברי הקבוצה לקרוא שכונת בורוכוב על שם דב בר בורוכוב, שהיה ממקימי תנועת פועלי ציון, ורעיונותיו השפיעו ביותר על תנועת העבודה הציונית.
בשנת 1920 נישא לדבורה, בתו של קלמן אריאלי, אחותו של לוי אריה אריאלי. לשניים נולדו שני בנים ובת.
ב-2 באפריל1922 הונחה אבן הפינה של השכונה. בתחילה החיים בשכונה לא היו קלים כלל. כך כתב שמעון בן-צבי על השכונה הצעירה:
"דרכה של השכונה לא הייתה סוגה בשושנים. מתחילת בריאתה לא שיחק לה המזל. היא נחשבה כבת חורגת בעיני כל. אם כי הוגיה ומייסדיה היו חברי "פועלי ציון" נאמנים, בכל זאת לא נמצאה השכונה תחת חסותה. המפלגה לא הכריזה בשום אופן רשמי על הקמת שכונה כזו".
כאמור, מייסדי השכונה נתקלו בבעיות רבות. הם חיפשו מקורות מימון, אך גם כשנמצאו כאלה, הוטלה כל העבודה על מספר אנשים בעלי רצון טוב, אך נטולי ניסיון וכישורי ניהול. על מייסדי השכונה הוטל להכשיר ולמדוד את הקרקע לפני ההתיישבות, לדאוג לאספקת מים לבתים ולמשק, לטפל באספקת המצרכים לאנשים ולחיות המשק, לסלול כבישים, לבנות בתים, מבני חינוך ועוד.
במשך היום טיפל בן-צבי בחלקה שלו ועבד במרכז החקלאי. בלילות היה יושב עם שאר חברי הוועד ודן בענייני השכונה. הוא הקדיש את כל זמנו לניהול השכונה וטיפוחה. בעיקר דאג לענייני חינוך הדור הצעיר וטיפוחו. השכונה הלכה והתפתחה, ובן-צבי עמד בראשות הוועד שניהל אותה.
במהלך השנים אוחדה שכונת בורוכוב עם השכונות שסבבו אותה: שכונת שינקין, שכונת גבעת רמב"ם, שכונת קריית יוסף, שכונת ארלוזורוב ושכונת פועלי הרכבת. הן התאחדו והפכו ל"מועצה מקומית גבעתיים" ב-7 באוגוסט1942, ובן-צבי נבחר לראש המועצה.
המועצה המשיכה לגדול ולהתפתח. בתי ספר, סניפי דואר, קולנוע ועוד מבני ציבור רבים החלו להופיע ברחבי המקום, ובשנת 1959 הוכרזה גבעתיים כעיר.[2] בישיבה הראשונה של מועצת העיר נבחר בן-צבי לראשות העיר. הוא שמח מאוד על הבחירה: ”מי מילל ומי פילל כי אני, שמעון בן זלמן-צבי ואסתר רטגון מפוהוסט, אהיה ראש עיר בישראל? ובמדינת היהודים הנבנית ואיננה עוד חזון של בודדים?”.
לאחר שש שנים פרש מתפקידו, כדי לפנות מקום לדור הצעיר. לאחר פרישתו זכה להיות אזרח הכבוד הראשון של העיר גבעתיים.[3]
