薬師堂のある地名は、白根といいます。言い伝えによれば、良弁(ろうべん)という僧がお堂で休んでいて夢を見ました。東の方を見ると、庭の大楠が灯籠になり、お堂は昼のように明るくなりました。良弁が身を清めようとして池の側へ行くと、一夜のうちに蓮の花が咲いて、白い根が池一面に広がりました。そこでこの地を白根と呼ぶようになったそうです。
境内の楠は、県指定の天然記念物で、戦国時代の１５６９年、武田信玄が小田原を攻めた帰り道、夜中に軍を進めるためにこの木に火を付けて灯りとしたという話も伝えられています。
また、この薬師については、源頼朝の側室丹後の局が正室・政子の嫉妬によって命を狙われた際に、局を救うという働きをしています。局の薬師如来信仰の賜であるという伝承になっています。