AI用語集の用語

とは何ですか センテンスピース?

定義

言語に依存しないトークナイザーは、空白で事前に分割することなく、生のテキストからサブワード単位を直接学習します。

関連用語

クリップ
テキストと画像間の共有表現を学習するマルチモーダル モデル アーキテクチャ。
継続的な学習
モデルが事前の知識を忘れることなく新しいデータから学習し続けることができるトレーニング アプローチ。
状況に応じた学習
プロンプトで直接提供される例のパターンに従うモデルの機能。
意図の分類
テキストクエリからユーザーの目的を予測し、正しくルーティングします。
大規模言語モデル (LLM)
テキストを生成および分析するために大規模なテキスト コーパスでトレーニングされた言語モデル。
トークン
単語部分や記号など、言語モデルによって処理されたテキストの塊。

無料ガイドで詳細をご覧ください

SentencePiece Tokenization

See also

BPE (Byte Pair Encoding)ANN (Approximate Nearest Neighbor)Sliding Window AttentionHNSWALiBiRerankerRoPE (Rotary Positional Embeddings)Hybrid Search
AI 用語集の全文を閲覧するすべての無料 AI ガイドを確認する