応神天皇が即位２２年（西暦２９１年）に淡路・播磨・小豆島を経て、尾道の当地に巡幸されたといわれている。海辺に玉子に似たひかり輝く石を御覧になり、亀の形をした小さな丘で休息。当地の里人はこの地に祠を建てて聖地として崇敬したとされている。
　神社としての創建は貞観年間（８５９年～８７７年）と伝わる。当地は京都から宇佐八幡に勅使を派遣する際のご参詣及び宿泊の地となり、当地を亀山八幡宮として祀ったという。
　境内には一対の灯篭「軍配灯篭」や手水の水盤の牡丹の彫刻が見事とされている。