1650년(효종 1)에 지방유림의 공의로 안유(安裕)·이색(李穡)·김안국(金安國)·김정국(金正國) 등의 학문과 덕행을 추모하기 위해 창건하여 위패를 모셨으며, 건립시에는 봉잠피망 슬롯 머신(鳳岑書院)이라고 하였다.
1694년(숙종 20)에 ‘임강(臨江)’이라 사액되어 선현배향과 지방교육의 일익을 담당하여왔다. 그 뒤 1871년(고종 8)에 대원군의 피망 슬롯 머신철폐령으로 훼철되어 위패는 피망 슬롯 머신 자리에 매안(埋安)하였다. 1950년대 이후의 사항은 미상이다.