רוזוב נולד בתל אביב לרבקה (לבית גרליק) והאדריכלשמואל רוזוב בשנת 1925. משפחתו התגוררה בחיפה, ולצורך הלידה עקרה המשפחה באופן זמני לבית הוריו של שמואל בתל אביב ומיד לאחר מכן חזרה המשפחה המורחבת לחיפה שם גדל, התחנך ופעל עד לפטירתו. את לימודי היסודי והתיכון העביר בבית הספר הריאלי ובתום לימודיו הצטרף לבריגדה היהודית. לקראת סיום שירותו הצבאי גם שהה תקופה עם גדודו באיטליה. עם שובו לארץ-ישראל התגייס לגדוד 22 של חטיבת כרמלי והשתתף בקרבות על חיפה במלחמת העצמאות. עם שחרורו המשיך ללימודי אדריכלות בטכניון. בתום לימודיו התחתן עם הודה (לבית ברקוביץ) והצטרף למשרד האדריכלים המצליח שהפעיל אביו מאז 1930, בהמשך הפך לשותף ולאחר פטירת אביו היה לאדריכל הראשי במשרד עד לפטירתו.
