רוז ביי נקרא על שם ג'ורג' רוז, שהיה שר האוצר של בריטניה ב-1782. קיימת עדות לכינוי המפרצון רוז ביי החל משנת 1788, על ידי הקפטן ג'ון הנטר. בשנת 1834 נבנה במקום אחד מהבתים הבודדים דאז, מעון רוז ביי, על ידי האדריכל ג'ון ורג'. בית המגורים שימש את ג'יימס הולט, אז העוצר של אחוזת קופר, שהשתרעה בכל שטח הפרוור וחלק מהפרוורים הסמוכים לו, כגון פוינט פייפר.
בשנת 1852 נבנה מעון קלרמונט על צוק גבוה לצד מפרצון רוז ביי. בשנת 1888 נקנה הבית והורחב, ובמקום הוקם מנזרהלב הקדוש (Sacred Heart Convent). המנזר קיים עד היום (2010) וניתן לראותו על הצוק למרחקים. המנזר תוכנן על ידי האדריכל ג'ון הורבורי האנט ונחשב לטוב מבין יצירותיו, עם צריח בסגנון התחייה הגותית.
בתחילת המאה ה-20, החל משנת 1912 ועד 1927, עגנה במפרצון הספינה HMAS טינג'ירה, ששימשה לאימון מעל 3,000 מלחים אוסטרלים, רובם נשלחו למשימות צבאיות במסגרת מלחמת העולם הראשונה.
בשנת 1938מטוסי ים נחתו במפרצון רוז ביי, הופכים את הפרוור לשדה התעופה הבינלאומי הראשון של סידני.
מרבית שטח הפרוור מנוצל על ידי מסלול הגולף רויאל סידני, מסלול גולף פרטי ותחרותי בן 27 גומות, ומסלול הגולף הוותיק ביותר בסידני. סמוך אליו מצוי מסלול הגולף וולהרה, מסלול ציבורי בן 9 גומות.
בפרבר שני בתי ספר עצמאיים: בית הספר לבנות "קמבלה", ובית הספר "קינקופל-רוז ביי". קמבלה הוא בית ספר אנגליקני שנוסד לראשונה ב-1887 וכולל חינוך לבנות מגיל הגן ועד גיל 12. קינקופל-רוז ביי הוא בית ספר קתולי, הכולל בית ספר יסודי מעורב (בנים ובנות) ובית ספר תיכון לבנות בלבד. עד שנות השבעים היה בית הספר קינקופל מנזר וסיפק חינוך לבנות בלבד; אז הוא אוחד עם בית הספר היסודי רוז ביי ושינה את שמו ואת תוכנית הלימודים. פרט לכך, קיימים מספר מוסדות חינוך ציבוריים: מכללת רוז ביי (נוסדה ב-2004), ובית הספר היסודי רוז ביי (נוסד ב-1891).
רוז ביי נגיש באמצעות אוטובוסים המגיעים ממרכז העסקים הראשי של סידני דרך קינגז קרוס (כמו מרבית הפרוורים המזרחיים), אך בנוסף קיים בפרוור מעגן מעבורות, בו עוגן קו המעבורת של סירקולר קווי.
רוז ביי הוא פרוור מהגרים: במפקד האוכלוסין של שנת 2001, רק 59% מהדרים בו היו ילידי אוסטרליה (לעומת 61% בכלל אוכלוסיית ניו סאות' ויילס). המהגרים הגיעו ממגוון מדינות, עם ריכוזים גדולים לדרום אפריקה ובריטניה (7% כל אחת), ניו זילנד (3%), פולין (2%) וגרמניה (1%).
בין המהגרים קיים ריכוז גבוה יחסית של יהודים (26% מדרי הפרוור הצהירו על זיקה ליהדות[1], לעומת 40% נוצרים ו-0.5 אחוז מוסלמים), בין השאר מדרום אפריקה, רוסיה וישראל. בפרוור בית כנסת אורתודוקסי (בית הכנסת סאות' הד) המשרת את הקהילה המקומית[2].
