What is Frequency Penalty? Definition | AI Understanding

Визначення

Налаштування декодування, яке зменшує ймовірність появи токенів пропорційно частоті їх появи.

Споріднені терміни

Штраф за присутність

Налаштування декодування, яке зменшує ймовірність появи жетонів взагалі, заохочуючи нові теми.

Штраф за повторення

Налаштування декодування, яке знижує ймовірність токенів, які вже створила модель, щоб зменшити кількість циклів.

Показник мовної моделі, який вимірює, наскільки модель здивована справжніми наступними токенами.

Вибірка Top-k

Стратегія декодування, яка виконує вибірку лише з k найімовірніших наступних токенів.

Захищене декодування

Стратегія генерації, яка обмежує вихідні маркери дійсними структурами або виборами, сумісними з політикою.

Спекулятивне декодування

Метод прискорення логічного висновку, коли маленька чернеткова модель пропонує токени, які більша модель перевіряє паралельно.

Дізнайтеся більше в наших безкоштовних посібниках

Repetition Penalty and Decoding Controls Mel-Frequency Cepstral Coefficients

See also

Beam Search Parent-Document Retrieval Multi-Query Retrieval RAG-Fusion Self-Play Post-training Mid-training Watermarking

Перегляньте повний Глосарій ШІ Перегляньте всі безкоштовні посібники зі штучного інтелекту