AI用語集の用語

BPE (バイトペアエンコーディング)とは?

定義

最も頻繁に使用される文字のペアを再利用可能なトークンに結合するサブワードのトークン化アルゴリズム。