寺の縁起によると、頼朝が鎌倉に入り、東国にも大仏を造ろうとしましたが、果たさずに世を去ったので、仕えていた稲多野局が実現させようと計画したといわれています。頼朝夫人政子の力添えもあったといわれ、僧の浄光は全国まわってお金を集めました。鎌倉時代の歴史書『吾妻鏡』によれば、１２３８年(暦仁元年)に木造の大仏を造り始め、大伽崖もあわせて６年後に完成させたということです。
その後倒れましたが、嵐によるものという説があります。１２５２年(建長４年)、今度は青銅の大仏を造り始め、お堂も建てましたがかなり年月をかけたようで、完成の年ははっきりしていません。この大仏の鋳造には、丹治久友が関係したことは確かだとみられます。こんな大きな大仏をどのようにして造ったのかというと、下から順に土を盛りあげて足場を造り青銅をつなぎあわせていったのです。つなぎめの横の線が、今もはっきりと見えます。発掘調査の結果、現在の大仏の近くで鋳造したことがわかりました。
（鎌倉市教育委員会発行「かまくら子ども風土記(13版)」より）