שרף נולד בכפר איזבור (כיום איזבוארלה-סוצ'ביי) במחוז סלטין שבחבל בוקובינה, אז תחת השלטון הקיסרי האוסטרי בימי האימפריה האוסטרו-הונגרית. בנם של רחל לבית פומרנץ ומאיר צבי שרף (Schärf).
בשנת 1925 עלה לארץ ישראל, ובצעירותו עבד כפועל, כפקיד וכאיש ארגון בתפקידים מזדמנים והשתלב בחוגי אחדות העבודה ובהמשך במפא"י. שרף היה פעיל בתנועת הנוער של "פועלי ציון", ואף היה מראשי ומייסדי תנועת הנוער "הבחרות הסוציאליסטית". במחצית השנייה של שנות ה-30 היה בין מקימי "הפועל" וכיהן כמזכיר מרכז "הפועל" במשך 6 שנים.
במלחמת העולם השנייה שירת שרף במפקדת "ההגנה", והיה ממפקדי הש"י (שירות הידיעות של ההגנה) מהקמתו בשנת 1940 ובמשך 5 שנים עד 1945. בין השנים 1945–1947 כיהן בתפקיד מזכיר המחלקה המדינית של הסוכנות היהודית.
היה נשוי להניה (בת משה אודבין) במקור מהעיר קלם שבליטא. שלושת ילדיהם: יאיר, צפור וצבי-משה (צבילי). בנו הבכור מנישואיו הראשונים היה הרופא ד"ר קלונימוס (נימוס) שרף. נינתו היא עיתונאית המוזיקה שירה נאות.
פעילותו למען הקמת המדינה
בדצמבר1947 נתמנה שרף למזכיר "ועדת המצב", שהייתה הוועדה אשר התכוננה לקראת קום המדינה והכינה את הקמתו של מנגנון המדינה.
בשנת 1948 נתמנה למזכיר הממשלה הזמנית, הכין וניהל את טקס הכרזת המדינה, ובהמשך כיהן בתפקיד מזכיר הממשלה בין השנים 1948–1957, בממשלותיהם של דוד בן-גוריון ומשה שרת.
בשנת 1954 מונה שרף ממונה על הכנסות המדינה במשרד האוצר, והנהיג מדיניות תקיפה של גביית מיסים[1] לאור הצורך לארגן מחדש את מנהל המיסים ומודל המיסוי הישראלי. לאחר שבע וחצי שנים, באוגוסט 1961, התפטר מתפקיד זה[2], לאחר שהתנהלות מדיניות המיסים של ישראל נכנסה לשגרה[3]. עם פרישתו של טדי קולק מתפקיד מנכ"ל משרד ראש הממשלה ב-1964 מונה שרף ליועץ כללי לראש הממשלה, כמינוי זמני עד לבחירות לכנסת, ובהתנדבות למשך שנה[4].
לאחר הבחירות לכנסת השביעית, והקמת הממשלה בשנית בידי גולדה מאיר, התמנה שרף לתפקיד שר השיכון, בו כיהן לאורך כל ימיה של אותה הממשלה (עד 10 במרץ1974). בזמן כהונתו נתן עדיפות לבעיות הזוגות הצעירים, וגם מצוקת השכונות הייתה לנגד עיניו, ולכן המליץ להקים ספריות עשירות במאגרי מידע, כדי לאפשר הכנת שיעורים גם לתלמידים ממשפחות קשות יום ומרובות ילדים.
