１１９４年、源頼朝が鎌倉幕府の礎石となった三浦大介義明の霊を弔うため、真言宗能蔵寺を建立したのがはじまり。
　当時、能蔵寺の名前は、この付近の地名として使われていた。頼朝が亡くなった後、音阿上人が時宗に改宗し、来迎寺に改名した。