Ngay sau khi chiếm được 3 tỉnh miền đông Nam Kỳ, Đô đốcDe la Grandière đã cho quy hoạch một khu đất rộng tại khu vực Vườn Ông Thượng, vốn là vườn hoa cũ của Tổng trấnLê Văn Duyệt, để quy hoạch xây dựng khuôn viên của dinh thống đốc thay thế cho dinh cũ vào năm 1865. Tuy vậy, do không có đề án nào được duyệt nên việc xây dựng chưa được tiến hành. Năm 1866, các sĩ quan Pháp đã chiếm dụng một khu đất rộng của khu quy hoạch này để làm một sân thể thao không chính thức, dành cho các môn điền kinh, bắn súng và đua ngựa[2].
Đến năm 1868, dinh Thống đốc được khởi công xây dựng theo đồ án của kiến trúc sưHermite. Năm 1869, người Pháp cho xây con đường Miss Clavell tách phần còn lại của khu vườn khỏi khuôn viên Dinh. Khu vườn chính thức mang tên "Jardin de la Ville", tuy nhiên người Việt quen gọi là "Vườn Bờ-rô", có lẽ là phiên âm préautiếng Pháp nghĩa là "sân lát gạch", hoặc theo tên gọi cũ là "Vườn Ông Thượng".
Ban đầu chỉ là nhóm các sĩ quan, binh lính Pháp, sau đó mở rộng thêm công chức, thương gia và một số ít người Việt Nam cũng bắt đầu tham gia. Năm 1896, một câu lạc bộ thể thao thượng lưu được thành lập, lấy tên là Cercle Sportif Saigonnais (Câu lạc bộ Thể thao Sài Gòn), viết tắt CSS, người Việt bình dân thường gọi tắt là Hội Xẹc. Các hoạt động thể thao được tổ chức thường xuyên và có thêm một số bộ môn mới. Môn bóng đá ban đầu được chơi bằng bóng bầu dục, sau được thay hẳn bằng bóng tròn. Năm 1897, môn đua xe đạp được tổ chức thường xuyên với các vòng đua quanh vườn hoa "Jardin de la Ville".
Năm 1902, chính quyền thuộc địa cho xây dựng cơ sở của Câu lạc bộ Le Cercle Sportif Saigonnais ngay trong khuôn viên vườn hoa, bao sân bóng đá, hồ bơi và sân quần vợt. Sân bóng của Câu lạc bộ lúc bấy giờ là sân duy nhất đủ tiêu chuẩn đón những đội banh ngoại quốc đến đấu. Năm 1905, đội bóng của chiến hạm Anh mang tên King Alfred ghé thăm Sài Gòn, và đã đấu giao hữu với một đội gồm những cầu thủ người Pháp và Việt tại đây.
Năm 1906, E. Breton, Ủy viên trong Liên hiệp các Câu lạc bộ Thể thao Điền kinh Pháp (L'Union des Sociétés Francaises des Sports Athlétiques) giữ chức hội trưởng Cercle Sportif Saigonnais. Ông đã tổ chức lại câu lạc bộ theo mô hình tại Pháp. Đội bóng Cercle Sportif Saigonnais do được tổ chức, huấn luyện có bài bản, nên đã liên tiếp thắng nhiều mùa giải trong các năm 1907, 1909, 1910, 1911, 1912, 1916...
Vì là một địa điểm giải trí chỉ dành riêng cho giới thượng lưu nên tiêu chuẩn của Cercle Sportif Saigonnais khá cao và nghiêm ngặt, người bình dân không thể tham gia vào. Kể từ lúc thành lập đến năm 1975, nhiều chính khách, sĩ quan cao cấp, tầng lớp thượng lưu người Pháp, người Mỹ, sĩ quan Việt Nam Cộng hòa và giới thượng lưuSài Gòn, đều chọn đây làm nơi sinh hoạt chính. Tướng Nguyễn Cao Kỳ và chính khách Lý Quý Chung cũng từng là hội viên ở đây. Tướng Dương Văn Minh cũng là một hội viên đặc biệt và nổi tiếng với môn quần vợt.