行基菩薩が諸国教化の際当地で金光星の如く山谷に輝くのを見て、自ら聖観音の像を彫刻し、堂宇を営み星の谷観音堂として建立されたもの。
観音堂は鎌倉時代に焼失し、現在地に移されたと伝えられる。江戸時代には、坂東三十三ヶ所の第八番として崇敬を集め、１５９１年には徳川家康より寺領２石の朱印状を拝領している。関東以北では２番目に古いという梵鐘の他、星谷寺七不思議など古くからの言い伝えが数多くある。
古くから「星谷寺の七不思議」（銅鐘・星の井・楠の化石・咲き分け散りの椿・観音草・根不断開花の桜・下りの紅葉）の言い伝えがある。
仏教の布教が禁止された時代に、階層を問わず困窮者を救うため布教を行った行基。民衆から絶大な支持を得て、日本で初めて大僧正の位を授かった。また、奈良の東大寺造立の際には責任者にも任命されている。
富山県高岡市に残る伝説によれば、かつて越中国(えっちゅうのくに)で悪王子(あくおうじ)という名の妖怪が民衆に生贄を要求していた時、天皇の命で越中国に赴き、これと対決して封じ込めたという。