בעת בנייתו נמצא מולו על חוף אלנבי, לימים חוף ירושלים, מבנה "מרחצאות ים חמים" שהיה בבעלות עיריית תל אביב[2]. דרומית למבנה המרחצאות שכן קזינו גלי אביב שתחם ממערב את כיכר הרברט סמואל.
המלון נחשב יוקרתי וחביב על עשירי היישוב. פופולרי במיוחד היה בית הקפה שפעל בחזית המלון, במרפסת גן רחבה, בו הונהגה שעת תה שכונתה "תה-ריקוד"[3] ו"תה קונצרט"[4], נערכו ריקודים לצלילי תזמורת, הופעות שונות בשעות הערב, חגים ובסופי השבוע[5][6][7]. המרפסת הייתה עטורת צמחייה, הוארה בפנסים כדוריים, והוקפה סוככים מפוספסים.
בראשית שנות ה-50 של המאה העשרים שימש הבניין את עיריית תל אביב, בין השאר לצורכי ועדת הבחירות לעירייה[20] ועבור מחלקת החינוך של עיריית תל אביב[21][22]. ב-1955 עזבה מחלקת החינוך את הבניין, והועבר אליו משרד פקיד שומה תל אביב של מס הכנסה[23][24].
ב-1971 נמסר על כוונתם של ידי משקיעים יהודים מגרמניה להרוס את בניין מלון סן רמו, ובהמשך גם את בית האופרה הסמוך (קולנוע קסם לשעבר), על מנת להקים במקומם מלון[25]. הבנייה התעכבה לאחר שהאופרה לא פונתה, בגלל סירובה לעבור לבניין הסינרמה[26]. רק לאחר סגירת האופרה ב-1982 פונה המבנה ובשנת 1987 נחתם חוזה עם אלרוב על הקמת מגדל דירות במקום[27]והחלו עבודות הבנייה[28]. קולנוע קסם נהרס בשנת 1988, ועל איחוד המגרשים עליהם עמדו המלון והקולנוע (רחוב הירקון 47–49), נבנה "מגדל האופרה".
