８０７年（大同２年）に弘法大師によって建立されたと伝わる。古くは、七堂伽藍の備わった寺院だった。飯山観音の入口ともなっている小鮎川に架かる朱塗りの橋は「庫裡橋」と呼ばれ、金剛寺の庫裡に向かって架けられていたといわれている。
　鎌倉時代には、鎌倉の覚園寺や金沢の称名寺とも繋がりのある律宗寺院として栄え、相模国の華厳学研究の拠点としても栄えた。天文年間（１５３２～１５５４年）に曹洞宗に改宗され再興されている。