Термін глосарію AI

Що таке Штраф за присутність?

Визначення

Налаштування декодування, яке зменшує ймовірність появи жетонів взагалі, заохочуючи нові теми.

Перегляньте повний Глосарій ШІПерегляньте всі безкоштовні посібники зі штучного інтелекту

Споріднені терміни

Штраф за частотуНалаштування декодування, яке зменшує ймовірність появи токенів пропорційно частоті їх появи.Штраф за повторенняНалаштування декодування, яке знижує ймовірність токенів, які вже створила модель, щоб зменшити кількість циклів.Вибірка Top-kСтратегія декодування, яка виконує вибірку лише з k найімовірніших наступних токенів.Захищене декодуванняСтратегія генерації, яка обмежує вихідні маркери дійсними структурами або виборами, сумісними з політикою.Спекулятивне декодуванняМетод прискорення логічного висновку, коли маленька чернеткова модель пропонує токени, які більша модель перевіряє паралельно.Кеш KVЗбережені тензори ключів і значень із попередніх токенів, які дозволяють трансформаторам генерувати нові токени без повторного обчислення минулої уваги.

Дізнайтеся більше в наших безкоштовних посібниках

Repetition Penalty and Decoding Controls

Дивіться також

Beam SearchParent-Document RetrievalMulti-Query RetrievalRAG-FusionSelf-PlayPost-trainingMid-trainingWatermarking