Термін глосарію AI

Що таке Кеш KV?

Визначення

Збережені тензори ключів і значень із попередніх токенів, які дозволяють трансформаторам генерувати нові токени без повторного обчислення минулої уваги.

Перегляньте повний Глосарій ШІПерегляньте всі безкоштовні посібники зі штучного інтелекту

Споріднені терміни

Постійне навчанняПідходи до навчання, які дозволяють моделі продовжувати навчатися на нових даних, не забуваючи попередні знання.Вибірка Top-kСтратегія декодування, яка виконує вибірку лише з k найімовірніших наступних токенів.Навчання без контролюВивчення шаблонів з немаркованих даних без явних цільових виходів.Розсувне вікно УвагаШаблон уваги, де кожен маркер звертається лише до вікна фіксованого розміру сусідніх маркерів, щоб зменшити обчислення.SentencePieceНезалежний від мови токенізатор, який вивчає одиниці підслів безпосередньо з необробленого тексту без попереднього розбиття на пробіли.Штраф за присутністьНалаштування декодування, яке зменшує ймовірність появи жетонів взагалі, заохочуючи нові теми.

Дізнайтеся більше в наших безкоштовних посібниках

KV CacheKV Cache OptimizationCache-Augmented Generation (CAG)

Дивіться також

Speculative DecodingMCP (Model Context Protocol)Zero Data RetentionAgentic LoopUsage-Based BillingReActTrust CalibrationTree of Thoughts