גולדשטיין הצטרף למכבי תל אביב לאחר שהלך בדרכו של אחיו, חיים גולדשטיין, אשר שיחק בקבוצה לפני קום המדינה ונהרג במלחמת העצמאות. שיחק בקבוצת הנוער מכבי "אברהם" תל אביב בשנים 1947–1948. הקבוצה החלה להתאמן ב-1946. היה ראש הקבוצה, חלוץ מרכזי ומלך השערים של הקבוצה. כבר בגיל 15 התאמן ושיחק עם הקבוצה הבוגרת במשחקי אימון, ואת הופעתו הראשונה במשחק רשמי ערך בגיל 17, ב-16 ביולי 1949, בניצחון הקבוצה 2–3 על הפועל רמת-גן.
החל מהמכביה השלישית ב-1950 נמנה עם סגל נבחרת צה"ל, ובשנים 1951 ו-1953 נמנה עם נבחרת תל אביב, שהורכבה מקבוצות מכבי, הפועל ובית"ר תל אביב.
ב-4 בינואר 1969 עת אימן בקאונטרי קלאב תל אביב, נערך משחק בין נבחרת מערב גרמניה הצעירה עד גיל 21 לבין קבוצת הנוער של הקאונטרי קלאב. יוסף השתתף במשחק זה כשחקן חיזוק ומאמן יחד עם עוד שני שחקנים ממכבי נתניה. היה זה משחק ראשון והיסטורי בין קבוצה גרמנית לקבוצה ישראלית.
אימן קבוצות ילדים ונוער בקאונטרי קלאב תל אביב, הפועל רעננה, הפועל פתח תקווה.
בשנים 1987–1990 אימן קבוצות ילדים ונערים של מכבי תל אביב, הבולטת שבהן קבוצת הילדים מכבי "משה".
