１３５３年の開基。鎌倉時代末期の正慶年間、遊行六代一鎮によって開かれたと伝えられています。当時は「西江寺」と称されていました。
　西郷寺山門は１３６２～６８年また１３９５年大一房住持の発願によって建立されたと伝えられています。一説に大一房は備後相方城主の夫人ともいう。板蟇股　破風　懸魚　軒などに室町時代の様式の特徴をとどめています。
　江戸時代前期頃までは、この寺の大門通りには「尼寺十二坊」があったとか、江戸中期以後、川が埋め立てられ、「西郷寺」になったとか。