白山神社は、飯山観音背後の白山（標高２８４メートル）の山頂付近の尾根道ある。
社殿の前には、池（白山池）があって、古くから雨乞いの霊地とされてきた。
飯山観音（長谷寺）を開いたとされる行基は、この山を登り、霊水が湧き出している池を発見し、加賀国白山妙理大権現を勧請したと伝えられている。
そして、クスノキで彫られた十一面観音が祀られたという。
この十一面観音が現在の飯山観音（長谷寺）の本尊といわれている。
明治初年頃に火災に遭い、龍蔵神社に合祀されていたが、昭和５５年に現在の社が再建されている。