橡樹灣一帶原為沙利殊原住民族(Salish)的地域。1843年,哈德遜灣公司在溫哥華島南端設立維多利亞堡,而附近地域(包括現橡樹灣所在)亦落入該公司的操控[3]。該公司隨之在橡樹灣一帶地域劃分地段並以低價售予五名資深僱員,餘下地段則保留作農地之用[4]。歐裔居民在往後年間相繼抵達,而區内首間學校則於1885年設立[5]。通往維多利亞的電車線於1890年代開通後進一步刺激該帶的發展[6],但該帶仍然沒有地方政府架構,居民因此成立橡樹灣促進會(Oak Bay Improvement Association)以求改善區内的道路及其他基礎建設[7]。該會一度尋求將橡樹灣併入維多利亞市,但並未成功[7]。居民遂決定請求省政府在橡樹灣設立地方政府,而橡樹灣亦於1906年7月2日正式建制為區域自治體[1]。