法然上人(浄土宗の開祖)が、四国に御流罪になったとき(鎌倉時代の初め)、その徳を慕われた後白川法皇の皇女 如念尼(にょねんに)公は、この島の南側、御寺(みでら)の光明坊にご来寺になって、讃岐(現在の香川県)から上人をお招きになりました。
上人は当地に庵を結び、御寺までお通いになって九十日の間、如念尼公に說法、ご教化されたと言われています。
その後三原の仏通寺(臨済宗)の末寺となっていた時期もあるようですが、江戸時代の初め頃、慶長年間(１６０７年)に再興され、伽藍が整えられました。本堂、庫裡はいずれも慶長年間の建築です。