What is KV Cache? Definition | AI Understanding

Визначення

Збережені тензори ключів і значень із попередніх токенів, які дозволяють трансформаторам генерувати нові токени без повторного обчислення минулої уваги.

Споріднені терміни

Постійне навчання

Підходи до навчання, які дозволяють моделі продовжувати навчатися на нових даних, не забуваючи попередні знання.

Вибірка Top-k

Стратегія декодування, яка виконує вибірку лише з k найімовірніших наступних токенів.

Навчання без контролю

Вивчення шаблонів з немаркованих даних без явних цільових виходів.

Розсувне вікно Увага

Шаблон уваги, де кожен маркер звертається лише до вікна фіксованого розміру сусідніх маркерів, щоб зменшити обчислення.

Незалежний від мови токенізатор, який вивчає одиниці підслів безпосередньо з необробленого тексту без попереднього розбиття на пробіли.

Штраф за присутність

Налаштування декодування, яке зменшує ймовірність появи жетонів взагалі, заохочуючи нові теми.

Дізнайтеся більше в наших безкоштовних посібниках

KV Cache KV Cache Optimization

See also

Speculative Decoding MCP (Model Context Protocol)Zero Data Retention Agentic Loop Usage-Based Billing ReAct Trust Calibration Tree of Thoughts

Перегляньте повний Глосарій ШІ Перегляньте всі безкоштовні посібники зі штучного інтелекту