What is KV Cache? Definition | AI Understanding

Определение

Сохраненные тензоры ключей и значений из предыдущих токенов, которые позволяют преобразователям генерировать новые токены без повторного вычисления прошлого внимания.

Связанные термины

Постоянное обучение

Подходы к обучению, которые позволяют модели продолжать обучение на новых данных, не забывая при этом предыдущие знания.

Топ-k выборка

Стратегия декодирования, которая производит выборку только из k наиболее вероятных следующих токенов.

Обучение без присмотра

Шаблоны обучения на основе немаркированных данных без явных целевых результатов.

Раздвижное окно Внимание

Схема внимания, при которой каждый токен обращается только к окну соседних токенов фиксированного размера для сокращения вычислительных ресурсов.

ПредложениеЧасть

Независимый от языка токенизатор, который изучает единицы подслова непосредственно из необработанного текста без предварительного разделения на пробелы.

Штраф за присутствие

Настройка декодирования, которая снижает вероятность появления токенов вообще, поощряя новые темы.

Узнайте больше в наших бесплатных руководствах.

KV Cache KV Cache Optimization

См. также

Speculative Decoding MCP (Model Context Protocol)Zero Data Retention Agentic Loop Usage-Based Billing ReAct Trust Calibration Tree of Thoughts

Просмотрите полный глоссарий AI Изучите все бесплатные руководства по искусственному интеллекту