What is Speculative Decoding? Definition | AI Understanding

Визначення

Метод прискорення логічного висновку, коли маленька чернеткова модель пропонує токени, які більша модель перевіряє паралельно.

Споріднені терміни

Оплата на основі використання

Ціноутворення, де витрати масштабуються з викликами API, маркерами, часом висновку або споживаними обчисленнями.

Розсувне вікно Увага

Шаблон уваги, де кожен маркер звертається лише до вікна фіксованого розміру сусідніх маркерів, щоб зменшити обчислення.

Висновок

Фаза виконання, на якій навчена модель генерує прогнози або результати.

RAG (генерація з доповненим пошуком)

Метод, який отримує зовнішні знання та передає їх у генерацію під час висновку.

Вибірка Top-k

Стратегія декодування, яка виконує вибірку лише з k найімовірніших наступних токенів.

Дистильована модель

Менша модель, навчена імітувати поведінку більшої моделі, використовуючи менше обчислень для висновку.

Дізнайтеся більше в наших безкоштовних посібниках

Contrastive Decoding Minimum Bayes Risk Decoding Speculative Sampling Verification Self-Consistency Decoding

See also

Zero Data Retention KV Cache MCP (Model Context Protocol)Trust Calibration Agentic Loop Test-Time Compute ReAct Structured Output

Перегляньте повний Глосарій ШІ Перегляньте всі безкоштовні посібники зі штучного інтелекту