Глоссарий терминов искусственного интеллекта

Что такое КВ-кэш?

Определение

Сохраненные тензоры ключей и значений из предыдущих токенов, которые позволяют преобразователям генерировать новые токены без повторного вычисления прошлого внимания.

Просмотрите полный глоссарий AIИзучите все бесплатные руководства по искусственному интеллекту

Связанные термины

Постоянное обучениеПодходы к обучению, которые позволяют модели продолжать обучение на новых данных, не забывая при этом предыдущие знания.Топ-k выборкаСтратегия декодирования, которая производит выборку только из k наиболее вероятных следующих токенов.Обучение без присмотраШаблоны обучения на основе немаркированных данных без явных целевых результатов.Раздвижное окно ВниманиеСхема внимания, при которой каждый токен обращается только к окну соседних токенов фиксированного размера для сокращения вычислительных ресурсов.ПредложениеЧастьНезависимый от языка токенизатор, который изучает единицы подслова непосредственно из необработанного текста без предварительного разделения на пробелы.Штраф за присутствиеНастройка декодирования, которая снижает вероятность появления токенов вообще, поощряя новые темы.

Узнайте больше в наших бесплатных руководствах.

KV CacheKV Cache OptimizationCache-Augmented Generation (CAG)

См. также

Speculative DecodingMCP (Model Context Protocol)Zero Data RetentionAgentic LoopUsage-Based BillingReActTrust CalibrationTree of Thoughts