Istilah Glosari AI

Apakah Persampelan Top-k?

Definisi

Strategi penyahkodan yang hanya mengambil sampel daripada k kemungkinan besar token seterusnya.

Semak imbas Glosari AI penuhTerokai semua panduan AI percuma

Istilah berkaitan

Persampelan atas-p (Nukleus).Strategi penyahkodan yang mengambil sampel daripada set token terkecil yang kebarangkaliannya berjumlah p.Penyahkodan TerkawalStrategi penjanaan yang mengekang token output kepada struktur yang sah atau pilihan yang mematuhi dasar.Pembelajaran Sedikit PukulanMempelajari atau menyesuaikan tingkah laku daripada hanya sebilangan kecil contoh.PerplexityMetrik model bahasa yang mengukur betapa terkejutnya model dengan token seterusnya yang benar.Penyahkodan SpekulatifKaedah pecutan inferens di mana model draf kecil mencadangkan token yang disahkan oleh model yang lebih besar secara selari.Cache KVTensor kunci dan nilai yang disimpan daripada token sebelumnya yang membolehkan transformer menjana token baharu tanpa mengira semula perhatian masa lalu.

Ketahui lebih lanjut dalam panduan percuma kami

Typical SamplingSpeculative Sampling VerificationEntropy-Based SamplingEarly Stopping

Lihat juga

Tool UseTokenizationTransfer LearningTokenTransformerTemperatureTraining LossSystem Prompt