当寺院の建つ場所は大可島といい、鞆港の入り口に浮かぶ島だった。頂きには海城が築かれており、南北朝時代には北朝・足利幕府軍と南朝・後醍醐天皇軍との合戦の舞台となりました。
戦国時代には村上水軍の一族がこの海城を拠点にして、海上交通の要所・鞆の浦一帯の海上権を握っていました。
福島正則が鞆城を築いた慶長年間(１６００年頃)に、埋め立てによって大可島が陸続きとなりました。城は廃城となり、慶長１５年(１６１０年)頃に大可島城(たいがしましろ)の跡地に移転し、建造されたと伝えられています。江戸時代は真言宗明王院の末寺となっていました。朝鮮通信使が来日した際には上官が宿泊しました。