1572년(선조 5)에 최응룡(崔應龍)·김취문(金就文) 등이 부사 송기충(宋期忠)에게 청하여, 길재(吉再)의 충절과 덕행을 추모하기 위하여 금오산 아래에 슬롯 머신 앱을 창건하여 위패를 모셨다.
1575년에 ‘금오’라고 사액되어 사액슬롯 머신 앱으로 승격되었다. 임진왜란 때 소실되었다가 지방유림이 부사 김용(金涌)에 청하여 지금의 위치에 복원하였으며, 1609년(광해군 원년)에 다시 사액을 받았다.
그 뒤 김종직(金宗直)·정붕(鄭鵬)·박영(朴英)·장현광(張顯光)을 추가 배향하여 선현배향과 지방교육의 일익을 담당하였다. 흥선대원군의 슬롯 머신 앱철폐 당시에 훼철되지 않고 존속한 47개 슬롯 머신 앱 중의 하나이다.
1972년에 단청번와하였다. 경내의 주요건물로는 상현묘(尙賢廟)·재실·정학당(正學堂)·누문(樓門) 등이 있다. 매년 봄·가을에 향사를 지내고 있으며, 소장전적 6종 23책이 있다.