חזית המנזר שאורכה כתשעים מטר מעוצבת בסימטריה האופיינית לסגנון הרנסאנס - בארוק האיטלקי עם אלמנטים רומנסקיים. האדריכל הוא האב מ' דומה (M.Doumet). משני קצוות החזית מתחילים שני אגפים של המנזר. האגפים הדרומי והצפוני מתנשאים לגובה של קומה נוספת מעל האגף המרכזי. ראשית נבנה הצד הצפוני של חזית הבניין ונחנך בשנת 1884 ואילו הצד הדרומי של חזית הבניין נבנה רק לאחר מכן ובנייתו נשלמה בשנת 1891. באגף הדרומי של המנזר ישנה קפלה אשר נחנכה בשנת 1894 ואילו האגף הצפוני נבנה רק לאחר מכן והוא ארוך יותר ממקבילו הדרומי.
לאמצעו של האגף הצפוני מחובר אגף נוסף הניצב לאגף הצפוני. חלק זה של הבניין נבנה רק בשנות השלושים של המאה העשרים. במרתף הבניין נמצאים אולמות גדולים המאופיינים בקירות עבים ובתקרות בעלות קמרונות. האולמות שימשו בעבר ככיתות לימוד, חדר אוכל ומטבח.
בחצר הצפונית של המנזר מצוי מגדל שמירה שהוקם בשנות השלושים של המאה התשע-עשרה, ימי שלטונו של אבראהים פאשא בארץ ישראל. המגדל שימש כחלק ממערכת של מגדלי שמירה ואיתות על הדרך בין ירושלים ליפו.
בשנת 1921 חנתה בחצר המנזר "פלוגה" של גדוד העבודה שעסקה בחציבת אבנים באזור ירושלים. עקב מקום חנייתה כונתה הפלוגה בשם "פלוגת רטיסבון". בעת מאורעות תרפ"ט מצאו יהודי הסביבה מקלט במנזר[2].
בשנות ה-30 התקיים במקום בית ספר של המנזר. בבית הספר למדו 350 ילדים, רובם הגדול יהודים ומיעוטם ערבים נוצרים ומוסלמים. משפחות עניות שלחו את ילדיהן לבית ספר זה, בגלל שכר הלימוד הנמוך, וכדי שיקבלו "חינוך אירופי טוב".[3]
בתקופת מלחמת העצמאות התגוררו בבניין רטיסבון הנשים והילדים מכפר עציון שפונו לשם כאשר המגורים בגוש עציון הפכו למסוכנים, כמו כן פונו למנזר גם הנשים והילדים של קיבוץ מעלה החמישה. לאחר מלחמת העצמאות שימש המבנה את האוניברסיטה העברית שכן לא ניתן היה ללמוד בקמפוס האוניברסיטה בהר הצופים. עם השנים הוחזר הבניין לרשותה של הכנסייה הקתולית.
בשנות ה-80, עבר המבנה שיפוץ על פי תוכניתו של אדריכל נחום מלצר.[4]
בשנת 1998 פרס הוותיקן את חסותו על הסמינר, ושמו החדש של הסמינר הוא "המוסד האפיפיורי רטיסבון".
בתחילת שנות ה-90 השכיר הוותיקן חלקת קרקע שבתחומי המנזר לקבלן הישראלי מרדכי אביב לצורך בניית מתחם מגורים יוקרתי במקום בשם "לב רחביה"[5]. הייתה זו העסקה הראשונה בין הוותיקן לאיש עסקיםישראלי[דרוש מקור].
סמוך למנזר עומד מבנה בן 3 קומות, שנבנה בשלהי המאה-19, כבית מגורים למשפחה ערבית נוצרית כחלק משכונת אל אמירה. שכונה שנבנתה מחוץ לחומות העיר העתיקה בה התגוררו משפחות נוצריות יווניות-אורתודוקסיות. המבנה מכונה "בית צ'רצ'יל", ככל הנראה, משום שב-1941 שימש כבית הארחה לחיילים בריטיים, ומסופר כי ראש ממשלת בריטניהוינסטון צ'רצ'יל לן או התארח בבית, בעת שביקר בארץ ישראל[7].
