AI用語集の用語

センテンスピースとは?

定義

言語に依存しないトークナイザーは、空白で事前に分割することなく、生のテキストからサブワード単位を直接学習します。