1567년(조선 명종 22년)에 지역의 사림이 선산부사에게 길재가 마지막으로 세상을 뜬 금오산에 서원과 사당을 건립하기를 청하였고, 당시 선산부사 송기충(宋期忠)이 경상감사에게 이를 전하여 장계를 올려 재가를 받아 1570년(선조 3년)에 금오산 아래의 지금의 금오지 자리에 서원을 건립하였다.
1572년에 송정 최응룡(崔應龍)이 ‘금오서원봉안문’(金烏書院奉安文)을 지어 길재의 위패를 모시게 되었다.
1575년에는 사액 현판과 서책이 하사되었으나, 임진왜란때 건물이 전소되면서 함께 소실되었다. 난이 끝나고 1602년에 금오산은 외진 곳이라 서원을 지킴에 어려움이 있다는 청에, 선산부사 김용(金涌)이 지금의 선산읍 남산(藍山)에 복원하게 되었다. 1609년에 중건하였다.
