この神社は、１９０８年(明治４１年)に町内にあった三島(みしま)・八雲(やくも)・諏訪(すわ)・金比羅(こんぴら)・見女八坂(みるまやさか)の五つの神社を一緒にしてまつったものです。祭神は大山祇神(おおやまづみのかみ)・素戔嗚尊(すさのうのみこと)・建御名方命(たけみながたのみこと)・崇徳院霊(すとくいんのみたま)・天照大神(あまてらすおおみかみ)で、毎年６月の第２日曜には盛大な祭りが行われています。境内の神輿庫には、神輿が安置されていて、「寛永十九年」(１６４２年)の棟札(むねふだ)がかかっています。例祭では、五所神社を出発した神輿は、昔から伝わる「天王謡(てんのううた)」を唄いながら材木座の町内を練り歩いた後、材木座海岸で海に入ります。