AI用語集の用語

とは何ですか KVキャッシュ?

定義

以前のトークンから保存されたキーと値のテンソルにより、トランスフォーマーは過去のアテンションを再計算することなく新しいトークンを生成できます。

関連用語

継続的な学習
モデルが事前の知識を忘れることなく新しいデータから学習し続けることができるトレーニング アプローチ。
Top-k サンプリング
次の可能性が最も高い k 個のトークンのみからサンプリングするデコード戦略。
教師なし学習
明示的なターゲット出力を持たない、ラベルのないデータからのパターンの学習。
スライディングウィンドウの注意
コンピューティングを削減するために、各トークンが近くのトークンの固定サイズのウィンドウのみに注目するアテンション パターン。
センテンスピース
言語に依存しないトークナイザーは、空白で事前に分割することなく、生のテキストからサブワード単位を直接学習します。
プレゼンスペナルティ
トークンが出現する確率を減らし、新しい話題を促すデコード設定。

無料ガイドで詳細をご覧ください

KV CacheKV Cache Optimization

See also

Speculative DecodingMCP (Model Context Protocol)Zero Data RetentionAgentic LoopUsage-Based BillingReActTrust CalibrationTree of Thoughts
AI 用語集の全文を閲覧するすべての無料 AI ガイドを確認する