AI用語集の用語

トークン化とは?

定義

テキストをモデル入力用のトークンに分割するプロセス。