明末，宏村人在南湖北畔修建了六所私塾，又称“依湖六院”。在清嘉庆十九年（1814年），此六院被合并，取名“以文家塾”，又称“南湖书院”。曾任清政府内阁中书，后任驻英、日公使，代总理大臣的汪大燮，澳星发射研制专家之一的李小鹃等学者，都是在这里启蒙的。
南湖书院是座具有传统徽派风格的古书院。书院由志道堂、文昌阁、会文阁、启蒙阁、望湖楼及祗园六部分组成。一湖碧水位于书院前，连栋楼舍接着书院，书院黛瓦粉墙，与碧水蓝天交相辉映。书院远涉的志道堂是讲学的地方；文昌阁供奉孔子牌位，学生在这里对孔子瞻仰膜拜；会文阁为学生读四书五经的场所；启蒙阁是启蒙读书之处；望湖楼是闲时观景休息之地；祗园是内苑。
