１１９４年、源頼朝が鎌倉幕府の礎石となった三浦大介義明の霊を弔うため、真言宗能蔵寺を建立したのがはじまり。
当時、能蔵寺の名前は、この付近の地名として使われていた。頼朝が亡くなった後、音阿上人が時宗に改宗し、来迎寺に改名した。
本堂裏手の広場には、「三浦大介公の家来の墓」と表示された１００数基の小さな五輪塔などが並んでいます。また、来迎寺会館の中には三浦義明の木像が安置されています。
三浦大介は、源頼朝の挙兵の際に尽力し、石橋山の合戦に敗れた頼朝のもとに一族をむかわせ、みずからは衣笠城にとどまり平家方を迎え撃ち、畠山重忠の軍勢と戦い８９才で戦死した三浦の豪族。