שרף שיחק בקבוצת הנוער של מכבי תל אביב, ונשלח בגיל 16, יחד עם בן גילו פיני גרשון לקורס מאמני כדורסל.
שרף אימן קבוצות רבות בישראל, כמו מכבי תל אביב, הפועל תל אביב, הפועל רמת גן והפועל ירושלים, בנוסף היה עוזר מאמן של המאמן היהודי-אמריקאי רודי ד'אמיקו בזכייה של מכבי תל אביב בגביע אירופה בעונת 1980–1981, ובעונה המוצלחת ביותר של מכבי, בה זכתה בכל הישג אפשרי, תחילה בגביע הבין-יבשתי, לאחר מכן גביע המדינה, אליפות המדינה וגביע אירופה לאלופות, בפעם השנייה בתולדותיה. במכבי תל אביב שרף אימן בין השנים 1983–1992 (למעט עונת 1987/1988 וחלק מעונת 1989/1990), וכמו כן אימן שרף את מכבי בשנים 1995–1997 וב-2008, במהלך שנותיו במכבי זכה עם הקבוצה ברוב התארים בליגה אליפות וגביע המדינה, באירופה הגיע להצלחות רבות, וניצחונות היסטוריים, אם זאת לא זכה בגביע אירופה לאלופות. בהיותו מאמן מכבי תל אביב הגיעה לשלושה משחקי גמר, בהם הפסידה בשנים: 1987,1989,2008. שרף אימן גם באירופה, בקבוצה היוונית אריס סלוניקי, עימה זכה בגביע אירופה למחזיקות גביע (עונת 1992/1993), בפאו"ק סלוניקי, בלימוז' הצרפתית, בדינמו מוסקבה ובספרטק סנט פטרסבורג.
שרף גם שימש כמאמן הנבחרת הלאומית של ישראל בכדורסל. הוא מונה לראשונה לתפקיד בשנת 1984 (בגיל 33) ובקדנציה הראשונה שלו, שנמשכה 3 שנים, הוליך את הנבחרת להשתתפות בשתי אליפויות אירופה וכן להשתתפות היסטורית באליפות העולם בספרד בקיץ 1986 (מקום 7). בכל תולדותיה השתתפה ישראל רק פעמיים באליפות העולם (בפעם הראשונה, ב-1954 בברזיל, ישראל הוזמנה להשתתף ללא משחקי מוקדמות).
הכישלון באליפות אירופה של 1987 (מקום 11) גרם לפיטורי שרף, אך הוא שב למשרה הבכירה ביותר של הכדורסל הישראלי כעבור 4 שנים לקדנציה שנייה שנמשכה 6 שנים (1991–1997). במהלך תקופה זו, עם אפי בירנבוים כעוזרו, הוליך את הנבחרת ל-3 הופעות באליפויות אירופה, לאחר שהנבחרת נעדרה ממעמד זה במשך 6 שנים (לא הצליחה להעפיל לטורנירים של 1989 ושל 1991).
בשנת 2005 קיבל על עצמו שרף שוב את תפקיד מאמן הנבחרת, והחליף את דייוויד בלאט, שהתפטר מאימון הנבחרת כחודש וחצי לפני פתיחת טורניר ההזדמנות האחרונה להשתתפות בטורניר אליפות אירופה והותיר בלבול ומבוכה בנבחרת ובאיגוד הכדורסל.[דרוש מקור] שרף הצליח להוליך את הנבחרת (שכונתה אז בתקשורת הישראלית "כח צביקה") להעפלה לאליפות אירופה והוביל את הנבחרת באליפות לניצחונות מרשימים על לטביה ועל ספרד החזקה.
הנבחרת הלאומית בהדרכת שרף כשלה שוב בטורניר קדם אליפות אירופה 2007, אך כמו בפעם שעברה הצליחה להיכנס לתחרות אחרי ניצחון בטורניר ההזדמנות האחרונה.
שרף הצליח לעשות מה שרבים לפניו ניסו ונכשלו, הוא המאמן הישראלי הראשון שניצח באיטליה, היה זה ניצחון של מכבי תל אביב על קבוצת בנקו רומא 90–94 ב-31 בינואר1985. הניצחון השני של מכבי על אדמת איטליה, גם כן בהדרכת שרף, היה על קבוצת טרסר מילאנו 79–94, ב-19 בפברואר1987. באותה עונה הוביל שרף את מכבי גם לניצחונה הראשון אי פעם במדריד מול ריאל - 89-82 ב-12 במרץ 1987.
צביקה שרף אשר ידוע "כמכביסט" מושבע הגיע עם מכבי תל אביב שלוש פעמים לגמר גביע אירופה אך לא הצליח לזכות עם הקבוצה באליפות אירופה.
ב-2012 מונה ליו"ר מועצת המנהלים של חברה ספקטרוניקס, חברה ציבורית העוסקת בפיתוח, ייצור ושיווק מערכות גילוי להבות וגזים, וכיבוי אש לשימושים צבאיים ואזרחיים[1].
ב-2012 החליט לרוץ לתפקיד יו"ר איגוד הכדורסל, ולשם כך הקים את "סיעת עוז", בשיתוף עם אישי ציבור וספורט כגון שאול אייזנברג, יו"ר הכנסת לשעבר אברהם בורג[2], ח"כ לשעבר אבו וילן ומאמנת רמת השרון אורנה אוסטפלד. לאחר מערכת בחירות מלאת עימותים עם איגוד הכדורסל ורשימת חמשת המרכזים[3], ששיאם בפנייה משפטית שנדחתה לפסול את מועמדות סיעת עוז[4], זכתה הסיעה ל-374 קולות השווים בערכם ל-9 מנדטים בהנהלת האיגוד, לעומת 1,174 קולות של סיעת חמשת המרכזים השווים בערכם ל-30 מנדטים[5].
ב-24 בדצמבר 2013 חתם שרף עד לתום העונה במכבי ראשון לציון
עם אופציה להמשיך לעונה נוספת בקבוצה[6].
ב-2 ביוני 2014, מכבי ראשון לציון העמידה תקציב נמוך מדי לדעתו ולכן, בגלל פערי הצדדים, החליט צביקה לעזוב את משרת מאמן הקבוצה.