薬師堂のある地名は、白根といいます。言い伝えによれば、良(ろう)弁(べん)という僧がお堂で休んでいて夢を見ました。東の方を見ると、庭の大楠が灯籠になり、お堂は昼のように明るくなりました。良弁が身を清めようとして池の側へ行くと、一夜のうちに蓮の花が咲いて、白い根が池一面に広がりました。そこでこの地を白根と呼ぶようになったそうです。
境内の楠は、県指定の天然記念物で、戦国時代の１５６９年、武田信玄が小田原を攻めた帰り道、夜中に軍を進めるためにこの木に火を付けて灯りとしたという話も伝えられています。