尾道や瀬戸田は、中世から瀬戸内海交易の中継地として発展し、江戸時代においても有数の港町でした。北前船が寄港するようになると、さらなる飛躍をとげています。
尾道では、１６８９年に薬師堂浜の西側を、１６９０年にさらに西の荒神堂浜を、１６９７年に土堂浜を埋め立てています。この埋立は商人たちの手によるもので、増大する船舶の出入りに応じる形となっていました。
この後、さらなる港の活性化に伴い、住吉浜の築造が急務となりました。そこで、広島藩は、直接工事を計画し、１７４０年尾道町奉行に平山角左衛門を任命。平山角左衛門は、翌年工事に着手し、住吉浜を築造しました。
（神社は昭和の初期までは、こちら側（海側）を向いていたようです。）