Apa itu Penalti Pengulangan?

Pengaturan decoding yang mengurangi kemungkinan token secara proporsional dengan seberapa sering token tersebut muncul sejauh ini.

Pengaturan decoding yang mengurangi kemungkinan munculnya token, mendorong topik baru.

Strategi decoding yang mengambil sampel hanya dari k kemungkinan besar token berikutnya.

Strategi pembangkitan yang membatasi token keluaran pada struktur yang valid atau pilihan yang sesuai dengan kebijakan.

Metode percepatan inferensi di mana rancangan model kecil mengusulkan token yang diverifikasi secara paralel oleh model yang lebih besar.

Pola perhatian di mana setiap token hanya memperhatikan jendela berukuran tetap dari token terdekat untuk mengurangi komputasi.