神功皇后が三韓征伐のため西国下向の際、鞆の浦の地に寄泊しました。帰路携帯していた「鞆」を奉納し、海神・大綿津見命を祀った際に、妹君の淀媛命を祭主として奉任させました。その神社が沼名前神社（渡守神社）の起源です。
数年後に淀姫命は鞆の浦を去りましたが、後世その特を偲び氏神として奉斎し、鞆の浦湾の入口の丘の上に鎮座する護り神として現在に至ります。
現在の社殿は大正３年に建立。平成１３年に修復。