Термин от речника на AI

Какво е KV Кеш?

Определение

Съхранени тензори на ключове и стойности от предишни токени, които позволяват на трансформаторите да генерират нови токени, без да преизчисляват миналото внимание.

Разгледайте пълния AI речникРазгледайте всички безплатни ръководства за AI

Свързани термини

Непрекъснато обучениеПодходи за обучение, които позволяват на модела да продължи да се учи от нови данни, без да забравя предишни знания.Вземане на проби от Top-kСтратегия за декодиране, която взема проби само от k най-вероятните следващи токена.Учене без надзорОбучение на модели от немаркирани данни без изрични целеви изходи.Плъзгащ се прозорец ВниманиеМодел на внимание, при който всеки токен обръща внимание само на прозорец с фиксиран размер от близки токени, за да намали изчисленията.SentencePieceЕзиково-агностичен токенизатор, който научава единици поддуми директно от необработен текст без предварително разделяне на интервали.Наказание за присъствиеНастройка за декодиране, която намалява вероятността токените да са се появили изобщо, насърчавайки нови теми.

Научете повече в нашите безплатни ръководства

KV CacheKV Cache OptimizationCache-Augmented Generation (CAG)

Вижте също

Speculative DecodingMCP (Model Context Protocol)Zero Data RetentionAgentic LoopUsage-Based BillingReActTrust CalibrationTree of Thoughts