星の谷観音堂が坂東八番の札所になったの源頼朝在世中のことと思われます。
この頃は今でも本堂山と呼ばれている４００ｍほど北東の丘の中腹にあったと伝えられていますが、いつの時代か、相模野の野火が延焼して焼失、現在の地へ移ったといわれています。
戦国時代には北條氏の保護を受け、小田原から府中へ人至る街道上の宿泊所としても利用されましたが、徳川氏はあまり重要視せず、朱印地（非課税の領地）も三石しか与えませんでしたが、正保国図（元年・１６４４年）などには北相模で唯一（随一）の社寺として観音堂が書かれており、民衆の間には相当重視されていたものと思われます。
江戸時代に入り、天下が太平になると、民衆の間にも百ヵ所観音、あるいは、坂東三十三ヶ所参りが流行しました。市内で最古の百ヵ所参りの記念物は、星の谷観音堂にある貞四年（１６８７年)の額です。