Apa itu Penalti Kehadiran?

Tetapan penyahkodan yang mengurangkan kebarangkalian token secara berkadar dengan kekerapan token itu muncul setakat ini.

Tetapan penyahkodan yang mengurangkan kebarangkalian token yang telah dihasilkan oleh model untuk mengurangkan gelung.

Strategi penyahkodan yang hanya mengambil sampel daripada k kemungkinan besar token seterusnya.

Strategi penjanaan yang mengekang token output kepada struktur yang sah atau pilihan yang mematuhi dasar.

Kaedah pecutan inferens di mana model draf kecil mencadangkan token yang disahkan oleh model yang lebih besar secara selari.

Tensor kunci dan nilai yang disimpan daripada token sebelumnya yang membolehkan transformer menjana token baharu tanpa mengira semula perhatian masa lalu.