人工智慧術語

什麼是 KV快取?

定義

儲存來自先前令牌的鍵和值張量，使 Transformer 可以產生新令牌而無需重新計算過去的注意力。

相關術語

持續學習
讓模型不斷從新資料中學習而不忘記先驗知識的訓練方法。
Top-k 採樣
僅從 k 個最有可能的下一個標記中採樣的解碼策略。
無監督學習
從沒有明確目標輸出的未標記資料中學習模式。
滑動視窗注意
一種注意模式，其中每個令牌僅關注附近令牌的固定大小視窗以減少計算。
句子片段
與語言無關的分詞器，可以直接從原始文本中學習子詞單元，而無需在空格上進行預分割。
出席處罰
一種解碼設置，可降低令牌出現的機率，從而鼓勵新主題。

在我們的免費指南中了解更多信息

KV CacheKV Cache Optimization

參見

Speculative DecodingMCP (Model Context Protocol)Zero Data RetentionAgentic LoopUsage-Based BillingReActTrust CalibrationTree of Thoughts
瀏覽完整的人工智慧術語表探索所有免費的人工智慧指南