約八百年前の源頼朝が鎌倉へ幕府を開いたころ、悪疫が流行したした時に白衣の老人が来て、日本武尊を祀れば悪疫が治まると教えたので、日本武尊を祀ったといいますが、その時代は１３１３年で、祭神は飯綱権現だという説もあります。
１３１３年に社殿を再建した頃より武家の参詣が相次ぎ、１６０２年には領主内藤修理亮清成が一統を率いて参拝し、武運長久、氏子の繁栄を祈られたという記録もあります。また、古くからこの地は、八王子街道の宿場街として栄え、ここを往来する人々、また生糸を運ぶ車両の安全を祈念した人々で社頭が賑わいをみせたとも伝えられています。