開基（創立者）と開山（初代住職）はともに不詳だが、高徳院では法然上人を開祖としている。
当初は、阿弥陀大仏を安置する大仏殿以外には付属する建物はなく、もともとは「大仏殿」が正式名称だった。
１２３８年に着工した大仏は木造。１２４７年、大風で倒壊。１２５２年に現在の青銅で鋳造された。１４９５年の津波で大仏殿が流され、露天の大仏になってしまった。この年は北条早雲が小田原城を奪取した年であり、鎌倉はすでに大仏殿を再建する経済力はなかったのでしょう。
かってこのあたりは鎌倉の西の果て、そのため、刑場があったり、流人が集まる場であったり、ハンセン病患者の収容施設があった場所。そうした場所を大仏によって「悪書」を「聖化」し、都市鎌倉、そして関東地方を護持させようとした。