７３１年(天平３年)行基菩薩が関東地方を歩いたとき、鎌倉の大蔵山から町を眺め、
「こここそ観音さまを安置するのによい場所だ。」
と思い、人間の大きさぐらいの仏像を彫刻しこの山に安置したそうです。
その後、光明皇后は夢の中で、
「東国には中央のカがいきわたらず、悪人が絶えない。願わくば、財宝を寄付して、東国の人々を救ってください。」
という言葉を聞き、不思議に思い行基に尋ねたところ、
「それはたぶん、私が鎌倉の里に安置した観音菩薩の言葉でありましょう。」
と答えました。そこで光明皇后は右大臣藤原房前と行基に命じて、財宝を寄付して７３４年(天平６年)の春、この寺を開いたと伝えられています。