相传唐咸通年间,名叫慧锷的日本和尚来到五台山。

与五台山的方丈，成了莫逆之交。

方丈送了尊檀香木雕成的观音佛像给他。

那佛像神态安详，鬓发眉毛均极细腻，栩栩如生。

慧锷喜不自胜，打算回日本去建寺供养。

慧锷扬帆回国。

接连三天风浪阻挡，铁莲锁舟。

他心想难道是观音大士不愿去日本么？他回到船舱里，跪在佛前祈告说：“如若日本众生无缘见佛，我一定遵照大士所指方向，另建寺院，供养我佛。

” 话音未落，忽从海底钻出一头铁牛。

帆船跟着铁牛后面，沿着这条航道前进。

惠锷定神一看，原来帆船又回到了普陀山的一个山岙里。

他心想，既然观音菩萨不愿去日本，就在这里造座寺院，让观音菩萨定居在普陀山吧！从此，这尊檀香木雕成的观音佛像就留在普陀山了。

那座小庵堂，就叫不肯去观音院。