Istilah Glosari AI

Apakah Perhatian Tingkap Gelongsor?

Definisi

Corak perhatian di mana setiap token hadir hanya pada tetingkap saiz tetap token berdekatan untuk mengurangkan pengiraan.

Semak imbas Glosari AI penuhTerokai semua panduan AI percuma

Istilah berkaitan

PemangkasanMengalih keluar pemberat model atau neuron yang kurang penting untuk mengurangkan saiz dan mengira.Pengebilan Berdasarkan PenggunaanPenetapan harga dengan skala kos dengan panggilan API, token, masa inferens atau pengiraan yang digunakan.Undang-undang SkalaHubungan empirikal yang menunjukkan cara prestasi bertambah baik dengan saiz model, data atau pengiraan.Model JarangModel di mana banyak parameter adalah sifar atau tidak aktif untuk mengurangkan pengiraan.Penyahkodan SpekulatifKaedah pecutan inferens di mana model draf kecil mencadangkan token yang disahkan oleh model yang lebih besar secara selari.Tetingkap KonteksJumlah maksimum token input model bahasa boleh diproses sekaligus.

Ketahui lebih lanjut dalam panduan percuma kami

Attention Rollout and Head PruningSequence Parallelism and Ring AttentionMulti-Head Latent AttentionRWKV Linear Attention

Lihat juga

ALiBiBPE (Byte Pair Encoding)RoPE (Rotary Positional Embeddings)SentencePiecePositional EncodingANN (Approximate Nearest Neighbor)Multi-Head AttentionHNSW