AI用語集の用語

KVキャッシュとは?

定義

以前のトークンから保存されたキーと値のテンソルにより、トランスフォーマーは過去のアテンションを再計算することなく新しいトークンを生成できます。