Какво е Спекулативно декодиране?

Ценообразуване, при което разходите се мащабират с извиквания на API, токени, време за извод или изразходвани изчисления.

Модел на внимание, при който всеки токен обръща внимание само на прозорец с фиксиран размер от близки токени, за да намали изчисленията.

Фазата на изпълнение, при която обучен модел генерира прогнози или резултати.

Метод, който извлича външно знание и го захранва за генериране по време на извод.

Стратегия за декодиране, която взема проби само от k най-вероятните следващи токена.

По-малък модел, обучен да имитира поведението на по-голям модел, като същевременно използва по-малко изчисления при извод.