原址在鹽山（今屬河北）。清乾隆三年（1738），知縣金世昌創建於縣城興文街西，以縣治前為香魚館地，故名。 時副貢生李士晉捐田六頃，為課士膏火之需。三十五年重修。後因經費不足，無力延師課士，漸致圮廢。鹹豐七年（1857），在東門外大街北另建書院，仍名“香魚”，內設考棚，以備縣試。有房屋數十間，然經費仍不足延師課士。光緒中葉，積各項產業收入至錢千餘貫，始聘山長，招生徒。其時“所重雖在帖括，而士知向學”（民國《鹽山縣誌》卷五）。光緒末，改為學堂。
