行基菩薩が諸国教化の際当地で金光星の如く山谷に輝くのを見て、自ら聖観音の像を彫刻し、堂宇を営み星の谷観音堂として建立されたもの。
観音堂は鎌倉時代に焼失し、現在地に移されたと伝えられる。江戸時代には、坂東三十三ヶ所の第八番として崇敬を集め、１５９１年には徳川家康より寺領２石の朱印状を拝領している。関東以北では２番目に古いという梵鐘の他、星谷寺七不思議など古くからの言い伝えが数多くある。
古くから「星谷寺の七不思議」（銅鐘・星の井・楠の化石・咲き分け散りの椿・観音草・根不断開花の桜・下りの紅葉）の言い伝えがある。