人工智慧術語

什麼是KV快取?

定義

儲存來自先前令牌的鍵和值張量,使 Transformer 可以產生新令牌而無需重新計算過去的注意力。