Термин от речника на AI

Какво е KV Кеш?

Определение

Съхранени тензори на ключове и стойности от предишни токени, които позволяват на трансформаторите да генерират нови токени, без да преизчисляват миналото внимание.

Свързани термини

Непрекъснато обучение
Подходи за обучение, които позволяват на модела да продължи да се учи от нови данни, без да забравя предишни знания.
Вземане на проби от Top-k
Стратегия за декодиране, която взема проби само от k най-вероятните следващи токена.
Учене без надзор
Обучение на модели от немаркирани данни без изрични целеви изходи.
Плъзгащ се прозорец Внимание
Модел на внимание, при който всеки токен обръща внимание само на прозорец с фиксиран размер от близки токени, за да намали изчисленията.
SentencePiece
Езиково-агностичен токенизатор, който научава единици поддуми директно от необработен текст без предварително разделяне на интервали.
Наказание за присъствие
Настройка за декодиране, която намалява вероятността токените да са се появили изобщо, насърчавайки нови теми.

Научете повече в нашите безплатни ръководства

KV CacheKV Cache Optimization

See also

Speculative DecodingMCP (Model Context Protocol)Zero Data RetentionAgentic LoopUsage-Based BillingReActTrust CalibrationTree of Thoughts
Разгледайте пълния AI речникРазгледайте всички безплатни ръководства за AI