据历史记载，小南海原名南湖，系历代修城筑堤取土之地，后浠不成湖。经明清近600年的营建装修，形成了西起悟颖塔东至汝水河滨北至城壕，总面积达千 亩的风景区。明代在南湖修建成的观音阁，是仿造南海普陀寺的模式。由于观音阁的规模小于南海，所以人们称南湖为小南海。小南海古建筑有观音阁、大士寺、准提楼、黄鹤楼。　　
　　今天所看到的临小南海而建的南海禅寺，是台湾著名高僧明乘法师于1993年开始投资兴建的。