頼朝の死後。二代目の将軍になったのは息子の頼家。 こんな豪華な建物を受け継いだ頼家なんですけど。家臣たち、御家人たちは、「次の将軍さまは何やってんの」というような、不信感を抱いてしまった。それは、頼家がここで何とをやったのか？　なのですが、二代目将軍頼家の永福寺での行いに、家来たちは不信感を募らせたといいます。
　どんなことをやったのかというと、京都から文化人を呼び寄せ、遊びの名人を呼び寄せ、頼家はここでどんちゃん騒ぎや蹴鞠をやったり、遊び場にしてしまったのだという。しかも京都から人を呼び寄せており、武士よりも朝廷の貴族たちを大切にしているとして、家来たちが不信感を抱いていった可能性があるのだ、と思われます。