１０５０年天台宗の桓瞬和尚が開山と伝わる古刹。一時は荒れてたこのお寺を再建したのは、曹洞宗の天巽和尚。伊豆の伊東一族の子孫と伝えられている、伊東九郎三郎政世は源清院を菩提寺とし、源清院本堂裏には、政世をはじめとする伊東一族の宝筐印塔が並んでいる。
伊東氏は、藤原氏南家・藤原為憲の流れをくむ工藤氏の一族で、古く平安時代の末期から鎌倉時代にかけて伊豆国田方郡の伊東荘（現在の伊東市）の地を本拠としていた豪族であった。
平清盛が政権を握っていた頃の伊東氏の当主は伊東祐親で、平治の乱で敗れた源義朝の嫡男・頼朝が伊豆蛭ガ小島に流されていたのを監視する役目も負っていた。
この祐親が上洛して大番役に就いていた間に、頼朝と祐親の三女・八重姫が通じて千鶴という男の子を生むという事件が起きた。京から伊豆に戻った祐親は清盛の怒りを恐れ、その子を殺したうえに頼朝も討とうとしたが、次男の祐清が頼朝に急を知らせて北条時政の屋敷に逃がした。これで助かった頼朝は時政の娘の政子と結ばれ、時政の援助を得て治承４年（１１８０）に源氏再興の挙兵をした。