Belajar Berita Alat Lowongan Misi

Istilah Glosarium AI

Apa itu Pengambilan Sampel Top-k?

Definisi

Strategi decoding yang mengambil sampel hanya dari k kemungkinan besar token berikutnya.

Jelajahi Glosarium AI selengkapnya Jelajahi semua panduan AI gratis

Pengambilan Sampel Top-p (Inti).Strategi decoding yang mengambil sampel dari kumpulan token terkecil yang probabilitasnya berjumlah p.Decoding yang DilindungiStrategi pembangkitan yang membatasi token keluaran pada struktur yang valid atau pilihan yang sesuai dengan kebijakan.Pembelajaran Sedikit-TembakanMempelajari atau mengadaptasi perilaku hanya dari sejumlah kecil contoh.PerplexityMetrik model bahasa yang mengukur seberapa terkejut model tersebut dengan token berikutnya yang sebenarnya.Penguraian Kode SpekulatifMetode percepatan inferensi di mana rancangan model kecil mengusulkan token yang diverifikasi secara paralel oleh model yang lebih besar.Tembolok KVTensor kunci dan nilai tersimpan dari token sebelumnya yang memungkinkan transformator menghasilkan token baru tanpa menghitung ulang perhatian sebelumnya.

Pelajari lebih lanjut di panduan gratis kami

Typical Sampling Speculative Sampling Verification Entropy-Based Sampling Early Stopping

Lihat juga

Tool Use Tokenization Transfer Learning Token Transformer Temperature Training Loss System Prompt