Istilah Glosari AI

Apakah Penyahkodan Spekulatif?

Definisi

Kaedah pecutan inferens di mana model draf kecil mencadangkan token yang disahkan oleh model yang lebih besar secara selari.

Semak imbas Glosari AI penuhTerokai semua panduan AI percuma

Istilah berkaitan

Pengebilan Berdasarkan PenggunaanPenetapan harga dengan skala kos dengan panggilan API, token, masa inferens atau pengiraan yang digunakan.Perhatian Tingkap GelongsorCorak perhatian di mana setiap token hadir hanya pada tetingkap saiz tetap token berdekatan untuk mengurangkan pengiraan.InferensFasa masa jalan di mana model terlatih menjana ramalan atau output.RAG (Penjanaan Terimbuh-Dapatkan)Kaedah yang mendapatkan semula pengetahuan luaran dan menyalurkannya kepada generasi pada masa inferens.Persampelan Top-kStrategi penyahkodan yang hanya mengambil sampel daripada k kemungkinan besar token seterusnya.Model SulingModel yang lebih kecil dilatih untuk meniru tingkah laku model yang lebih besar sambil menggunakan kurang pengiraan pada inferens.

Ketahui lebih lanjut dalam panduan percuma kami

Contrastive DecodingMinimum Bayes Risk DecodingSpeculative Sampling VerificationSelf-Consistency Decoding

Lihat juga

Zero Data RetentionKV CacheMCP (Model Context Protocol)Trust CalibrationAgentic LoopTest-Time ComputeReActStructured Output