このあたりは源義朝の屋敷のあった所といわれています。源頼朝は鎌倉に入ると、父義朝ゆかりのこの地に屋敷や幕府を造ろうとしたのですが、狭いことと、すでに義朝の家来の岡崎義実が義朝をとむらうためのお堂を建てていたので、大倉(蔵)というところに、幕府や屋敷を構えました。
頼朝が亡くなった後、夫人の政子は頼朝の遺志を継ぎ、１２００年(正治２年)、栄西を開山に招き、２代将軍頼家を開基として、ここに亀谷(きこく)という山号の寺を建てました。３代将実朝もしばしば訪れ、やがて七堂伽藍というお堂をもつ立派な寺になり、塔頭も14を数えたといわれ、鎌倉五山の第三位となりました。１３２３年(元亨３年)の北条貞時十三回忌に、２６０人もの僧衆が参加する大寺院でした。