Apa itu Penalti Kehadiran?

Pengaturan decoding yang mengurangi kemungkinan token secara proporsional dengan seberapa sering token tersebut muncul sejauh ini.

Pengaturan decoding yang menurunkan kemungkinan token yang telah dihasilkan model untuk mengurangi loop.

Strategi decoding yang mengambil sampel hanya dari k kemungkinan besar token berikutnya.

Strategi pembangkitan yang membatasi token keluaran pada struktur yang valid atau pilihan yang sesuai dengan kebijakan.

Metode percepatan inferensi di mana rancangan model kecil mengusulkan token yang diverifikasi secara paralel oleh model yang lebih besar.

Tensor kunci dan nilai tersimpan dari token sebelumnya yang memungkinkan transformator menghasilkan token baru tanpa menghitung ulang perhatian sebelumnya.