What is Sliding Window Attention? Definition | AI Understanding

Ufafanuzi

Mchoro wa umakini ambapo kila tokeni huhudumia dirisha la ukubwa usiobadilika la tokeni zilizo karibu ili kupunguza hesabu.

Masharti yanayohusiana

Kuondoa uzito wa kielelezo au nyuroni zisizo muhimu sana ili kupunguza ukubwa na kukokotoa.

Malipo Kulingana na Matumizi

Bei ambapo gharama huongezeka kwa simu za API, tokeni, muda wa makisio, au kompyuta inayotumika.

Sheria ya Upanuzi

Uhusiano wa kisayansi unaoonyesha jinsi utendakazi unavyoboreka kwa kutumia saizi ya mfano, data au kokotoo.

Mfano wa Sparse

Muundo ambapo vigezo vingi ni sifuri au havitumiki ili kupunguza ukokotoaji.

Usimbuaji wa Kubahatisha

Mbinu ya kuongeza kasi ya makisio ambapo muundo wa rasimu ndogo unapendekeza tokeni ambazo muundo mkubwa zaidi huthibitisha kwa sambamba.

Dirisha la Muktadha

Kiwango cha juu cha tokeni za ingizo ambazo muundo wa lugha unaweza kuchakata mara moja.

Pata maelezo zaidi katika miongozo yetu ya bila malipo

Attention Rollout and Head Pruning Sequence Parallelism and Ring Attention Multi-Head Latent Attention RWKV Linear Attention

See also

ALiBi BPE (Byte Pair Encoding)RoPE (Rotary Positional Embeddings)SentencePiece Positional Encoding ANN (Approximate Nearest Neighbor)Multi-Head Attention HNSW

Vinjari Kamusi kamili ya AI Gundua miongozo yote ya bure ya AI