AI用語集の用語

トークンとは?

定義

単語部分や記号など、言語モデルによって処理されたテキストの塊。