Какво е Вземане на проби от Top-k?

Стратегия за декодиране, която взема проби от най-малкия набор от символи, чиято сума на вероятностите е p.

Стратегия за генериране, която ограничава изходните токени до валидни структури или съвместими с правилата избори.

Учене или адаптиране на поведение само от малък брой примери.

Показател на езиков модел, измерващ колко изненадан е моделът от истинските следващи токени.

Метод за ускоряване на извода, при който малък чернови модел предлага токени, които по-голям модел проверява паралелно.

Съхранени тензори на ключове и стойности от предишни токени, които позволяват на трансформаторите да генерират нови токени, без да преизчисляват миналото внимание.