כן למד אצל הרב שלום נתן רענן[6] ואת הכוזרי אצל הרב דוד כהן (הנזיר), שם היה 'המקריא' של הספר בפני הלומדים במשך 5 שנים. לימים כתב מאמר מבוא כללי לספר הכוזרי על פי שיעורי רבו, אותו מסר הרב הנזיר לפרסום, ואף הכניסו לספרו על הכוזרי.
בתשנ"ז הוקמה בעידודו ישיבת בני צבי בבית אל. הוא סירב להצעת הרב זלמן מלמד לעמוד בראשה ושימש בה מספר שנים כר"מ. ראה חשיבות מיוחדת דווקא בחינוך נערים בשנותיהם הצעירות, בנימוק שכל שינוי קל בתקופה זו נעשה משמעותי ביותר ברבות הימים[10]. היה שותף גם בהקמת תלמוד תורה מורשה. הקמת ישיבת חומש המתחדשת, וכן ייסוד היישוב חרשה בידי תלמידים ממרכז הרב נעשו בעידודו ובעצתו[5].
היה נשוי לנעמי לבית אדלר, בת למייסדי המושב 'כפר אברהם' בפתח תקווה, ולו ארבעה ילדים: ברוך וישראל [שניהם חרדים], שרה ודבורה (הנשואה לרב צוריאל זון מרבני ישיבת עטרת נחמיה ומראשוני המתיישבים בעיר דוד).
התגורר בתחילה ברחוב פנים מאירות בשכונת רוממה, ומשנת תשמ"ו בשכונת גבעת שאול בירושלים.
נפטר ביום ט"ו אדר א ה'תשפ"ב, 16 בפברואר 2022, לאחר מחלה ממושכת[12]. מסע ההלוויה החל ברחבת ישיבת מרכז הרב והגיע להר הזיתים, שם נטמן.
הרב רוזן לא הסכים שידפיסו ספרים מתורתו. רק אחרי שתלמידו של הרב שהם גנוט אברך במרכז הרב, לחץ עליו אישר להדפיס, אבל דווקא בכריכה רכה ובלי אזכור שמו. הודפסו חמישה כרכים על חמישה חומשי תורה שנקראים בשם ליקוט מפרשים, ורק בגב עמוד השער נכתב שהמחבר הוא "י.א.ר.". לאחר פטירתו הוציא הרב גנוט את סדרת הליקוט מפרשים בסדרה בת שלושה כרכים מהודרים בכריכה קשה וקרא להם בשם חדש - ליבנו בתורתו.
דברי תורה משמו על פורים הובאו לדפוס על ידי תלמידו הרב אוריאל ספז בחוברת "אהבת עולם תביא להם" (מצפה רמון, תשע"ג 2013).
לאחר פטירתו החלו חברי מכון מים חיים של תלמידי ישיבת מרכז הרב להוציא חוברות של שיעוריו ותורתו. עד כה יצאו ארבע חוברות על המועדים, ששמו רמוז בשמן:
יאר פניו איתנו למועדי אייר וחג השבועות.
באור פניך יהלכון לחודש אלול ומועדי תשרי.
אורה ושמחה לפורים וארבע פרשיות.
פני המנורה יאירו לימי החנוכה, מכון מים חיים כסליו התשפ"ה.
במלאת שנה לפטירתו הוציאו תלמידיו חוברת עם הספדים שנאמרו עליו וליקוט מתורתו.
