ここには医王山(いおうざん)という山号の長善寺(ちょうぜんじ)があり、寺の伝えでは、奈良時代の神亀(じんき)年間(７２４～７２９)、鎌倉にいた豪族で「由比の長者」といわれた染屋太郎時忠(そめやたろうときさだ)が建てたといわれますが、確かなことはわかりません。もとはＪＲ横須賀線の名越のトンネルの西の谷にありましたが、後にこの地に移されました。横須賀線が敷かれたとき、その線路が境内を横切ることになり、本堂が取り壊されて廃寺(はいじ)になり、薬師堂だけが残ったということです。
また、一説によると、長善寺は江戸時代に焼失し、薬師堂だけを残して廃寺になったともいわれています。