What is Speculative Decoding? Definition | AI Understanding

Definisi

Kaedah pecutan inferens di mana model draf kecil mencadangkan token yang disahkan oleh model yang lebih besar secara selari.

Istilah berkaitan

Pengebilan Berdasarkan Penggunaan

Penetapan harga dengan skala kos dengan panggilan API, token, masa inferens atau pengiraan yang digunakan.

Perhatian Tingkap Gelongsor

Corak perhatian di mana setiap token hadir hanya pada tetingkap saiz tetap token berdekatan untuk mengurangkan pengiraan.

Fasa masa jalan di mana model terlatih menjana ramalan atau output.

RAG (Retrieval-Augmented Generation)

Kaedah yang mendapatkan semula pengetahuan luaran dan menyalurkannya kepada generasi pada masa inferens.

Persampelan Top-k

Strategi penyahkodan yang hanya mengambil sampel daripada k kemungkinan besar token seterusnya.

Model yang lebih kecil dilatih untuk meniru tingkah laku model yang lebih besar sambil menggunakan kurang pengiraan pada inferens.

Ketahui lebih lanjut dalam panduan percuma kami

Contrastive Decoding Minimum Bayes Risk Decoding Speculative Sampling Verification Self-Consistency Decoding

See also

Zero Data Retention KV Cache MCP (Model Context Protocol)Trust Calibration Agentic Loop Test-Time Compute ReAct Structured Output

Semak imbas Glosari AI penuh Terokai semua panduan AI percuma