Термін глосарію AI

Що таке Спекулятивне декодування?

Визначення

Метод прискорення логічного висновку, коли маленька чернеткова модель пропонує токени, які більша модель перевіряє паралельно.

Перегляньте повний Глосарій ШІПерегляньте всі безкоштовні посібники зі штучного інтелекту

Споріднені терміни

Оплата на основі використанняЦіноутворення, де витрати масштабуються з викликами API, маркерами, часом висновку або споживаними обчисленнями.Розсувне вікно УвагаШаблон уваги, де кожен маркер звертається лише до вікна фіксованого розміру сусідніх маркерів, щоб зменшити обчислення.ВисновокФаза виконання, на якій навчена модель генерує прогнози або результати.RAG (генерація з доповненим пошуком)Метод, який отримує зовнішні знання та передає їх у генерацію під час висновку.Вибірка Top-kСтратегія декодування, яка виконує вибірку лише з k найімовірніших наступних токенів.Дистильована модельМенша модель, навчена імітувати поведінку більшої моделі, використовуючи менше обчислень для висновку.

Дізнайтеся більше в наших безкоштовних посібниках

Contrastive DecodingMinimum Bayes Risk DecodingSpeculative Sampling VerificationSelf-Consistency Decoding

Дивіться також

Zero Data RetentionKV CacheMCP (Model Context Protocol)Trust CalibrationAgentic LoopTest-Time ComputeReActStructured Output