Apa itu Persampelan Top-k?

Strategi penyahkodan yang mengambil sampel daripada set token terkecil yang kebarangkaliannya berjumlah p.

Strategi penjanaan yang mengekang token output kepada struktur yang sah atau pilihan yang mematuhi dasar.

Mempelajari atau menyesuaikan tingkah laku daripada hanya sebilangan kecil contoh.

Metrik model bahasa yang mengukur betapa terkejutnya model dengan token seterusnya yang benar.

Kaedah pecutan inferens di mana model draf kecil mencadangkan token yang disahkan oleh model yang lebih besar secara selari.

Tensor kunci dan nilai yang disimpan daripada token sebelumnya yang membolehkan transformer menjana token baharu tanpa mengira semula perhatian masa lalu.