吴中四才子之一的唐伯虎也曾经在书院附近逡巡了几天，回去之后变得老实了很多，从此再不敢卖弄学问。
与此同时，雁荡山周遭都变得很神秘。
有人传言，每到中秋月圆的时候，如果站在大龙湫瀑布下仔细倾听，就能听见无比美妙的琴笛合鸣。乐圣朱戴（土育）就曾在那里痴呆呆听了一整夜，回去写出《乐律全书》、《律吕正论》等惊世之作。
还有人曾经在烟雨朦胧的日子游山，惊鸿一瞥，看见一个玉树临风的书生以及一个风姿绰约的女子背景，仿佛一片云霞，伴着瀑布飞溅的水花，消失在山顶郁郁葱葱的树丛中。
当然，更有不少人以为是自己眼花了，认定那些全是假的，包括巍峨的宫殿，静谥的书院，美妙的琴音，全都是海市蜃楼，譬如人生百年，不过是一场梦罢了。