Đội được thành lập năm 1976, do Sở Thể dục thể thao Sông Bé quản lý với huấn luyện viên trưởng Đỗ Thới Vinh[1]. Năm 1978, Sở Thể dục thể thao Sông Bé đã thành lập 2 đội bóng (gọi là đội Sông Bé 1 và Sông Bé 2) tham dự giải bóng đá hạng A toàn quốc. Tại giải này, đội Sông Bé 2 đoạt chức vô địch khu vực. Kết thúc giải, hai đội được sáp nhập lại thành đội tuyển và giao cho ông Nguyễn Kim Phụng làm huấn luyện viên trưởng.[2]
Năm 1996, đội bóng bị chuyển về cho Công ty Cao su Bình Long quản lý và thi đấu với tên gọi Đội bóng đá Cao su Bình Long. Mặc dù vậy, người hâm mộ vẫn quen gọi là đội bóng đá Sông Bé. Tại mùa giải này, đội thi đấu thành công và giành được quyền thăng hạng các đội mạnh.
Tháng 1 năm 1997, tỉnh Sông Bé được tách làm 2 tỉnh Bình Dương và Bình Phước. Đội bóng Cao su Bình Long bị giải thể. Phần lớn nhân sự của đội Cao su Bình Long được chuyển thuộc về Sở Thể dục thể thao Bình Dương và được tập hợp trở thành thành phần nòng cốt để thành lập Câu lạc bộ bóng đá Bình Dương.