後醍醐天皇の皇子「無文元選禅師」(むもんげんせんぜんじ)が開いた方広寺(静岡県浜松市)が半僧坊の本元と言われています。
無文元選は、父の後醍醐天皇が崩御した翌年の１３４０年に建仁寺で出家、その後、元に渡り福州大覚寺で古梅正友に参禅し、各地を巡拝した。日本に帰国するとき嵐にあい、そのとき、今にも大波に飲み込まれそうな船中で禅師が観音経を唱えていると、鼻が高く眼光の鋭いひとりの異人が現れました。この異人が「わたしが禅師を無事、日本にお送りします」と、船頭や水夫を指揮して台風を見事乗り切り、博多の港へと導いて姿を消したのでした。
その後、禅師が方広寺を開くと、その異人が再び姿を現し「弟子になりたい」と願いました。禅師は「あなたは、半ば僧のようなところがある」と言われて弟子になることを許し、そこから「半僧坊」と呼ばれ修行に励むことになりました。