Istilah Glosarium AI

Apa itu Perhatian Jendela Geser?

Definisi

Pola perhatian di mana setiap token hanya memperhatikan jendela berukuran tetap dari token terdekat untuk mengurangi komputasi.

Jelajahi Glosarium AI selengkapnyaJelajahi semua panduan AI gratis

Istilah terkait

PemangkasanMenghapus bobot model atau neuron yang kurang penting untuk mengurangi ukuran dan komputasi.Penagihan Berbasis PenggunaanPenetapan harga yang skala biayanya disesuaikan dengan panggilan API, token, waktu inferensi, atau komputasi yang digunakan.Hukum PenskalaanHubungan empiris yang menunjukkan bagaimana performa meningkat seiring dengan ukuran model, data, atau komputasi.Model JarangModel yang banyak parameternya nol atau tidak aktif untuk mengurangi komputasi.Penguraian Kode SpekulatifMetode percepatan inferensi di mana rancangan model kecil mengusulkan token yang diverifikasi secara paralel oleh model yang lebih besar.Jendela KonteksJumlah maksimum token masukan yang dapat diproses model bahasa sekaligus.

Pelajari lebih lanjut di panduan gratis kami

Attention Rollout and Head PruningSequence Parallelism and Ring AttentionMulti-Head Latent AttentionRWKV Linear Attention

Lihat juga

ALiBiBPE (Byte Pair Encoding)RoPE (Rotary Positional Embeddings)SentencePiecePositional EncodingANN (Approximate Nearest Neighbor)Multi-Head AttentionHNSW