この神社の祭神は淀姫命（よどひめのみこと)。三韓征伐を行った神功(じんぐう)皇后の妹君で、はじめは、海神・大綿津見命(おおわたつみのみこと)を祀った沼名前神社(渡守神社)の祭主を務める身でした。しかし、後世、その徳が偲ばれて氏神として奉斎され、鞆湾の入口を守護する守り神となりました。以降、この高台に鎮座し続け、現在に至っています。
神功皇后が三韓征伐のため西国下向の際、鞆の浦の地に寄泊しました。帰路携帯していた「鞆」を奉納し、海神・大綿津見命を祀った際に、妹君の淀媛命を祭主として奉任させました。その神社が沼名前神社（渡守神社）の起源です。
数年後に淀姫命は鞆の浦を去りましたが、後世その特を偲び氏神として奉斎し、鞆の浦湾の入口の丘の上に鎮座する護り神として現在に至ります。