曹洞宗に属し薬師如来を本尊とし、創立は後花園天皇の時代、相州足柄上郡の最乗寺了庵彗明禅師が開山しました。
禅師は、当時七沢城主であった上杉定正と親交が深く、寺内には領地の一部を寄附してもらった上杉定正夫婦の遺骨が埋葬されています。
厚木の七沢から、清川村の煤ヶ谷および伊勢原の日向にかけては石造物に適した石を産する石山があったが、石を切出して細工する石工がいなかったために手付かずのままであった。その石山を開発したのが信州高遠の石工たちで、それが明治以降の石材業発展の礎となった。
、高遠の地は田畑が少なかっただめに農家の次、三男が働くほどの農作業の仕事がなかった。
高遠藩はその対策として、元禄の初め頃に石工や木地師その他の職人になることを奨励した、それは、職人の中でも手間賃は石工が最も高かったので石工になる者が多かったといわれている。
しかし高遠の領内だけでは仕事の量が限られているため、藩では石工の他国への出稼ぎを許した。それにより、信州の他にも甲斐・相模・武蔵・駿河・上野などの各地に石工が集団をつくって出稼ぎに出かけるようになった。但し、藩は村役人に外に出る石工の管理を厳重にさせ、また石工の稼ぎ高に応じた運上金（租税）を課したのであった。