Istilah Glosarium AI

Apa itu Penguraian Kode Spekulatif?

Definisi

Metode percepatan inferensi di mana rancangan model kecil mengusulkan token yang diverifikasi secara paralel oleh model yang lebih besar.

Jelajahi Glosarium AI selengkapnyaJelajahi semua panduan AI gratis

Istilah terkait

Penagihan Berbasis PenggunaanPenetapan harga yang skala biayanya disesuaikan dengan panggilan API, token, waktu inferensi, atau komputasi yang digunakan.Perhatian Jendela GeserPola perhatian di mana setiap token hanya memperhatikan jendela berukuran tetap dari token terdekat untuk mengurangi komputasi.KesimpulanFase runtime saat model terlatih menghasilkan prediksi atau keluaran.RAG (Generasi Augmented Pengambilan)Sebuah metode yang mengambil pengetahuan eksternal dan memasukkannya ke dalam generasi pada waktu inferensi.Pengambilan Sampel Top-kStrategi decoding yang mengambil sampel hanya dari k kemungkinan besar token berikutnya.Model SulingModel yang lebih kecil dilatih untuk meniru perilaku model yang lebih besar sambil menggunakan lebih sedikit komputasi pada inferensi.

Pelajari lebih lanjut di panduan gratis kami

Contrastive DecodingMinimum Bayes Risk DecodingSpeculative Sampling VerificationSelf-Consistency Decoding

Lihat juga

Zero Data RetentionKV CacheMCP (Model Context Protocol)Trust CalibrationAgentic LoopTest-Time ComputeReActStructured Output