1714년(숙종 40) 지방유림의 공의로 학문과 덕행을 추모하기 위해 창건하여 위패를 모셨다. 그뒤 박의중(朴宜中)·김효정(金孝貞)·정휘(鄭輝)·장용헌(張龍翰)을 추가배향하였다.
선현배향과 지방교육의 일익을 담당하여오던 중, 대원군의 카지노 슬롯머신 게임철폐령으로 1868년(고종 5) 훼철된 뒤 복원하지 못하였다. 훼철되기 전의 경내 건물로는 묘우·강당·신문(神門)·동재(東齋)·서재(西齋)·전사청(奠祀廳)·정문(正門)·주소(廚所) 등이 있었다.