What is Speculative Decoding? Definition | AI Understanding

Definisi

Metode percepatan inferensi di mana rancangan model kecil mengusulkan token yang diverifikasi secara paralel oleh model yang lebih besar.

Istilah terkait

Penagihan Berbasis Penggunaan

Penetapan harga yang skala biayanya disesuaikan dengan panggilan API, token, waktu inferensi, atau komputasi yang digunakan.

Perhatian Jendela Geser

Pola perhatian di mana setiap token hanya memperhatikan jendela berukuran tetap dari token terdekat untuk mengurangi komputasi.

Fase runtime saat model terlatih menghasilkan prediksi atau keluaran.

RAG (Generasi Augmented Pengambilan)

Sebuah metode yang mengambil pengetahuan eksternal dan memasukkannya ke dalam generasi pada waktu inferensi.

Pengambilan Sampel Top-k

Strategi decoding yang mengambil sampel hanya dari k kemungkinan besar token berikutnya.

Model yang lebih kecil dilatih untuk meniru perilaku model yang lebih besar sambil menggunakan lebih sedikit komputasi pada inferensi.

Pelajari lebih lanjut di panduan gratis kami

Contrastive Decoding Minimum Bayes Risk Decoding Speculative Sampling Verification Self-Consistency Decoding

See also

Zero Data Retention KV Cache MCP (Model Context Protocol)Trust Calibration Agentic Loop Test-Time Compute ReAct Structured Output

Jelajahi Glosarium AI selengkapnya Jelajahi semua panduan AI gratis