Istilah Glosarium AI

Apa itu Tembolok KV?

Definisi

Tensor kunci dan nilai tersimpan dari token sebelumnya yang memungkinkan transformator menghasilkan token baru tanpa menghitung ulang perhatian sebelumnya.

Jelajahi Glosarium AI selengkapnyaJelajahi semua panduan AI gratis

Istilah terkait

Pembelajaran BerkelanjutanPendekatan pelatihan yang memungkinkan model terus belajar dari data baru tanpa melupakan pengetahuan sebelumnya.Pengambilan Sampel Top-kStrategi decoding yang mengambil sampel hanya dari k kemungkinan besar token berikutnya.Pembelajaran Tanpa PengawasanPola pembelajaran dari data tidak berlabel tanpa target keluaran yang jelas.Perhatian Jendela GeserPola perhatian di mana setiap token hanya memperhatikan jendela berukuran tetap dari token terdekat untuk mengurangi komputasi.Potongan KalimatTokenizer tanpa bahasa yang mempelajari unit subkata langsung dari teks mentah tanpa terlebih dahulu membagi spasi.Penalti KehadiranPengaturan decoding yang mengurangi kemungkinan munculnya token, mendorong topik baru.

Pelajari lebih lanjut di panduan gratis kami

KV CacheKV Cache OptimizationCache-Augmented Generation (CAG)

Lihat juga

Speculative DecodingMCP (Model Context Protocol)Zero Data RetentionAgentic LoopUsage-Based BillingReActTrust CalibrationTree of Thoughts