白山神社は、飯山観音背後の白山（標高２８４ｍ）の山頂付近の尾根道がある。むかしの道は、平野の道は雑草で視界がわるく、手入れも大変だったので、大きな街道を除き、尾根に道をつくることが多かったのでしょう。崩れても手入れが簡単で、視界が得られやすく、道に迷うことも少ないため、尾根を歩くようになったのでしょう。
社殿の前には、池（白山池）があって、古くから雨乞いの霊地とされてきた。
飯山観音（長谷寺）を開いたとされる行基は、この山を登り、霊水が湧き出している池を発見し、加賀国白山妙理大権現を勧請したと伝えられている。
そして、クスノキで彫られた十一面観音が祀られたという。この十一面観音が現在の飯山観音（長谷寺）の本尊といわれている。