Термин от речника на AI

Какво е Спекулативно декодиране?

Определение

Метод за ускоряване на извода, при който малък чернови модел предлага токени, които по-голям модел проверява паралелно.

Разгледайте пълния AI речникРазгледайте всички безплатни ръководства за AI

Свързани термини

Таксуване въз основа на употребатаЦенообразуване, при което разходите се мащабират с извиквания на API, токени, време за извод или изразходвани изчисления.Плъзгащ се прозорец ВниманиеМодел на внимание, при който всеки токен обръща внимание само на прозорец с фиксиран размер от близки токени, за да намали изчисленията.ИзводФазата на изпълнение, при която обучен модел генерира прогнози или резултати.RAG (генериране с допълнено извличане)Метод, който извлича външно знание и го захранва за генериране по време на извод.Вземане на проби от Top-kСтратегия за декодиране, която взема проби само от k най-вероятните следващи токена.Дестилиран моделПо-малък модел, обучен да имитира поведението на по-голям модел, като същевременно използва по-малко изчисления при извод.

Научете повече в нашите безплатни ръководства

Contrastive DecodingMinimum Bayes Risk DecodingSpeculative Sampling VerificationSelf-Consistency Decoding

Вижте също

Zero Data RetentionKV CacheMCP (Model Context Protocol)Trust CalibrationAgentic LoopTest-Time ComputeReActStructured Output