烟波浩渺的大通湖湖心原有一小岛，上建小庙，名肖公庙。据民国《南县志备忘录》卷五记载：肖公庙，南、沅交界处。闻说肖公与柳毅同时代人，簰客中法打俱全者，渔户奉之如神，后立庙于此。明初称肖公窖，历设哨汛。《南县地名志》载：肖公名肖伯轩，相传明初救朱元璋于洞庭，肖死后被封为肖公菩萨，并建一庙。庙旁立清朝嘉庆四年冬月石碑一块，上刻首士湖北汉川县渔民和周渡乡247户捐银名单。此后，肖公庙备受渔民敬奉。庙旁几棵大柳树，枝粗高大，为历代方园百里水域捕鱼航行的目标。

1964年广州军区建修南湾湖农场时，将小岛围入农场，在庙址西侧1公里处设立场部，小庙被毁，庙址荒芜。

1989年，大通湖渔场部分职工将庙旁石碑取出立于一分场一队，作神像敬奉。1992年渔场周围群众自发筹款，于二队修建了大通禅寺，内设肖公神像，香火不断。