もとはＪＲ横須賀線の名越のトンネルの西の谷にありましたが、後にこの地に移されました。横須賀線が敷かれたとき、その線路が境内を横切ることになり、本堂が取り壊されて廃寺になり、薬師堂だけが残ったということです。
　また、一説によると、長善寺は江戸時代に焼失し、薬師堂だけを残して廃寺になったともいわれています。