鎌倉で最も古い天台宗の寺です。寺の伝えによると、７３１年(天平３年)行基菩薩が関東地方を歩いたとき、鎌倉の大蔵山から町を眺め、「こここそ観音さまを安置するのによい場所だ。」と思い、人間の大きさぐらいの仏像を彫刻しこの山に安置したそうです。
光明皇后は夢の中で「東国には中央のカがいきわたらず、悪人が絶えない。願わくば、財宝を寄付して、東国の人々を救ってください。」という言葉を聞き、不思議に思い行基に尋ねたところ、
「それはたぶん、私が鎌倉の里に安置した観音菩薩の言葉でありましょう。」と答えました。そこで光明皇后は右大臣藤原房前と行基に命じて、財宝を寄付して７３４年の春、この寺を開いたと伝えられています。