Термін глосарію AI

Що таке Штраф за повторення?

Визначення

Налаштування декодування, яке знижує ймовірність токенів, які вже створила модель, щоб зменшити кількість циклів.

Перегляньте повний Глосарій ШІПерегляньте всі безкоштовні посібники зі штучного інтелекту

Споріднені терміни

Штраф за частотуНалаштування декодування, яке зменшує ймовірність появи токенів пропорційно частоті їх появи.Штраф за присутністьНалаштування декодування, яке зменшує ймовірність появи жетонів взагалі, заохочуючи нові теми.Вибірка Top-kСтратегія декодування, яка виконує вибірку лише з k найімовірніших наступних токенів.Захищене декодуванняСтратегія генерації, яка обмежує вихідні маркери дійсними структурами або виборами, сумісними з політикою.Спекулятивне декодуванняМетод прискорення логічного висновку, коли маленька чернеткова модель пропонує токени, які більша модель перевіряє паралельно.Розсувне вікно УвагаШаблон уваги, де кожен маркер звертається лише до вікна фіксованого розміру сусідніх маркерів, щоб зменшити обчислення.

Дізнайтеся більше в наших безкоштовних посібниках

Repetition Penalty and Decoding ControlsAI Flashcards and Spaced Repetition

Дивіться також

Beam SearchParent-Document RetrievalMulti-Query RetrievalRAG-FusionSelf-PlayPost-trainingMid-trainingWatermarking