Apa itu Pengambilan Sampel Top-k?

Strategi decoding yang mengambil sampel dari kumpulan token terkecil yang probabilitasnya berjumlah p.

Strategi pembangkitan yang membatasi token keluaran pada struktur yang valid atau pilihan yang sesuai dengan kebijakan.

Mempelajari atau mengadaptasi perilaku hanya dari sejumlah kecil contoh.

Metrik model bahasa yang mengukur seberapa terkejut model tersebut dengan token berikutnya yang sebenarnya.

Metode percepatan inferensi di mana rancangan model kecil mengusulkan token yang diverifikasi secara paralel oleh model yang lebih besar.

Tensor kunci dan nilai tersimpan dari token sebelumnya yang memungkinkan transformator menghasilkan token baru tanpa menghitung ulang perhatian sebelumnya.