Що є Вибірка Top-k?

Стратегія декодування, яка бере вибірку з найменшого набору токенів, сума ймовірностей якого дорівнює p.

Стратегія генерації, яка обмежує вихідні маркери дійсними структурами або виборами, сумісними з політикою.

Вивчення або адаптація поведінки лише на невеликій кількості прикладів.

Показник мовної моделі, який вимірює, наскільки модель здивована справжніми наступними токенами.

Метод прискорення логічного висновку, коли маленька чернеткова модель пропонує токени, які більша модель перевіряє паралельно.

Збережені тензори ключів і значень із попередніх токенів, які дозволяють трансформаторам генерувати нові токени без повторного обчислення минулої уваги.