この寺の開山は行基といわれています。寺の伝えによれば、奈良時代に関東地方に悪い病気が流行してたくさんの死者が出ました。聖武天皇はこれを心配し、行基に「これから関東に下って悪い病気を除くように。」と命じました。はるばる鎌倉に来た行基は、前に広がった青い海原と後ろの山並みがとても美しく見えたので、
「ここでお祈りをしたら、きっと流行病もなくなるに違いない。」
と思いました。また、漁師が海難事故にあうことが多いと聞いたので、さっそく薬師如来、日光・月光菩薩の三尊を彫って祈りをささげると、不思議なことにあれほどはやっていた病気もぴたりと治まり、海難事故もなくなりました。