What is Sliding Window Attention? Definition | AI Understanding

Definisi

Corak perhatian di mana setiap token hadir hanya pada tetingkap saiz tetap token berdekatan untuk mengurangkan pengiraan.

Istilah berkaitan

Mengalih keluar pemberat model atau neuron yang kurang penting untuk mengurangkan saiz dan mengira.

Pengebilan Berdasarkan Penggunaan

Penetapan harga dengan skala kos dengan panggilan API, token, masa inferens atau pengiraan yang digunakan.

Undang-undang Skala

Hubungan empirikal yang menunjukkan cara prestasi bertambah baik dengan saiz model, data atau pengiraan.

Model di mana banyak parameter adalah sifar atau tidak aktif untuk mengurangkan pengiraan.

Penyahkodan Spekulatif

Kaedah pecutan inferens di mana model draf kecil mencadangkan token yang disahkan oleh model yang lebih besar secara selari.

Tetingkap Konteks

Jumlah maksimum token input model bahasa boleh diproses sekaligus.

Ketahui lebih lanjut dalam panduan percuma kami

Attention Rollout and Head Pruning Sequence Parallelism and Ring Attention Multi-Head Latent Attention RWKV Linear Attention

See also

ALiBi BPE (Byte Pair Encoding)RoPE (Rotary Positional Embeddings)SentencePiece Positional Encoding ANN (Approximate Nearest Neighbor)Multi-Head Attention HNSW

Semak imbas Glosari AI penuh Terokai semua panduan AI percuma